과거 견적을 확인하고 이번 견적서를 작성해 달라. 베테랑에게 문의하지 않아도 작업 절차를 확인하도록 하고 싶다.
제조업의 생성형 AI 활용에서는 이러한 업무를 지원하는 시스템이 고려될 수 있습니다. 더불어, 사내 시스템과 연동되어 정보 검색이나 초안 등록까지 수행하는 AI 에이전트도 활용 대상이 됩니다.
AI 직원에게 어느 정도 업무를 맡겨도 되는지에 대한 문제에 대한 우려가 남습니다.
초기 단계에서는 정보 정리 및 초안 작성부터 시작하고, 가격 및 납기 확정, 출하 판단, 설비 운영 등 영향이 큰 업무에는 담당자의 승인을 남긴다. 이것이 본 기사에서 추천하는 기본 방향이다.
이 글에서는 ‘에이전트 거버넌스’의 의미와 역할 분담, 그리고 제조업에서의 도입 전에 결정해야 할 규칙들을 설명합니다.
AI 직원과 에이전트 거버넌스란
생성형 AI를 활용하여 업무를 수행하는 AI 에이전트 구현으로의 진전을 의미한다.
생성형 AI는 문장 작성, 자료 요약, 답변 제안 생성 등을 지원하는 기술입니다. AI 에이전트는 생성형 AI 등을 활용하여 절차를 구성하고, 허가된 도구를 통해 검색이나 시스템 운영까지 수행하는 시스템입니다.
예를 들어 견적 업무의 경우, 요청 내용을 확인하고 유사 사례를 찾아 부족한 정보를 정리하여 견적서 초안을 작성하는 과정이 고려될 수 있습니다. 다만, 실현 가능한 범위는 협력 대상 및 설계에 따라 달라집니다.
AI 직원”은 이러한 시스템을 직원에게 비유하는 방식입니다. 사람처럼 현장의 상황을 이해하거나 책임을 지는 것은 아니며, 누가 관리하고 결과를 확인하는지는 회사 측에서 결정해야 합니다.
책임 범위와 책임을 규정하는 시스템
본 기사에서 말하는 에이전트 거버넌스는 AI 에이전트의 목적, 권한, 승인, 기록, 중지 방법을 정의하고 운영을 관리하는 방식입니다.
예를 들어, “견적 지원 AI는 과거 견적을 확인하고 조회할 수 있지만, 단가 마스터의 변경이나 고객에게 전송하는 기능은 제공되지 않습니다.”
OWASP의 2025년판 자료에서는 AI에 불필요한 기능, 권한, 자율성을 부여하는 위험이 정리되어 있습니다. 여기서 실무에 적용 가능한 부분은 AI의 답변 정확도와 실행 가능한 작업 범위의 제한을 별도로 관리하는 것입니다. [1]
제조업의 생성 AI 활용은 “영향”과 “역행 가능성”을 고려하는 것이 타당합니다.
업무별 역할 분담
제한 범위는 작업의 난이도만으로는 결정될 수 없습니다. 잘못되었을 때의 영향, 결과 확인 가능성, 원상복귀 가능성을 함께 고려합니다.
다음은 도입 초기 단계의 역할 분담의 예시입니다. 실제 도입 사례가 아닙니다.
업무 AI에 위임할 수 있는 범위의 예시는 다음과 같습니다. 사람의 판단 및 승인이 필요한 내용은 견적 작성, 유사 사례 검색, 조건 정리, 견적 초안 작성, 원가 및 이익 확인, 가공 가능 여부 확인, 가격 및 납기 확정, 숙련도 이전 승인된 절차서 검색, 근거 기반 답변, 자료에 없는 작업, 예외 처리, 안전과 관련된 판단, 품질 대응, 불량 보고서 분류, 유사 사례 추출, 보고서 초안 작성, 원인 분석, 출하 가능 여부 확인, 고객에게 공식적인 답변, 설비 유지 보수 점검 기록 요약, 확인 항목 후보 제시, 정지/재가동, 설정 변경, 수리 방법 결정, 발주 및 재고 부족 후보 추출, 발주 신청 초안 작성, 거래처, 금액, 수량 확인, 최종 발주
예를 들어, AI가 유사한 결함을 찾아도 이번의 원인이 반드시 같은 것은 아닙니다. 원인 후보를 제시하는 지원과 원인을 확정하고 대책을 결정하는 판단을 분리합니다.
장비 대해서도, 점검 기록 정리부터 시작하는 것이 도입 범위를 좁히기 쉬워집니다. 작동까지 연동하는 경우에는 별도로 안전 설계와 검증이 필요합니다.
업무 전체를 한 번에 맡기지 않고 “찾아보기”, “정리하기”, “초안 작성하기”, “승인하기”, “실행하기”로 나누어 개선할 수 있는 부분을 찾기 쉬워집니다.
AI 직원에게 업무를 맡출 때 성공적인 결과를 얻기 위한 5가지 규칙을 소개합니다.
1. 명확한 목표 설정: AI에게 어떤 결과를 기대하는지 명확하게 정의해야 합니다. 목표가 모호하면 AI는 잘못된 방향으로 작동할 수 있습니다. 구체적인 지표를 설정하여 AI의 성과를 측정하고 평가할 수 있도록 해야 합니다.
2. 충분한 데이터 제공: AI는 학습을 위해 충분한 양의 데이터를 필요로 합니다. 데이터의 품질이 낮으면 AI의 성능도 저하됩니다. 따라서, AI에게 필요한 데이터를 충분히 제공하고, 데이터의 정확성과 신뢰성을 확보하는 것이 중요합니다.
3. 적절한 프롬프트 엔지니어링: AI에게 작업을 지시하는 프롬프트를 효과적으로 설계해야 합니다. 프롬프트가 모호하거나 부정확하면 AI는 원하는 결과를 생성하지 못할 수 있습니다. 다양한 프롬프트를 시도하고, AI의 반응을 분석하여 최적의 프롬프트를 찾아야 합니다.
4. 지속적인 모니터링 및 피드백: AI가 업무를 수행하는 과정을 지속적으로 모니터링하고, 결과를 평가해야 합니다. AI의 오류를 발견하면 즉시 수정하고, AI에게 피드백을 제공하여 성능을 개선해야 합니다.
5. 인간의 감독: AI는 완벽하지 않으므로, 인간의 감독이 필요합니다. AI가 예상치 못한 문제를 발생시키거나, 잘못된 결정을 내릴 경우, 즉시 개입하여 상황을 해결해야 합니다. AI는 인간의 조력자로서 활용되어야 하며, AI의 자율성을 지나치게 부여해서는 안 됩니다.
목표와 업무 범위를 명확히 합니다.
견적 업무를 효율화하는 것만으로는 위임받는 범위가 명확하지 않습니다.
대상 자료, 출력, 종료 조건을 명확히 하고, 도면 조건이나 재료 부족 시 확인 사항으로 반환하는 運用을 실시합니다.
권한을 필요한 범위 내에서 제한한다.
절차서를 검색하는 AI에 그림 삭제나 단가 변경 권한을 부여할 필요는 없습니다. 대신 조회, 초안 등록, 공식 업데이트, 외부 전송 권한을 분리합니다.
변경해서는 안 된다는 내용을 문서로 지시하는 것 외에도, 연결 대상 시스템에서는 변경이 불가능하도록 설정하고, 담당자에게 접근 권한이 없는 자료는 AI를 통해서도 가져올 수 없도록 설계되어야 합니다.[1]
도면, 원가, 거래 상대 정보에 대해서는 이용하는 AI 서비스의 보존 및 학습 이용 조건에 동의하고, 계약이나 사내 규정에서 허용된 정보만 취급합니다.
승인 필요한 작업과 확인 사항을 결정합니다.
중요한 경우에는 사람이 확인하며, 현장 판단이 분기된다. 고객에게 전송, 공식 발주, 핵심 데이터 업데이트 등 승인이 필요한 작업을 구체적으로 나열한다.
견적은 재료, 수량, 단가, 납기, 참조 자료를 승인 화면에 표시하고 담당자가 확인하도록 합니다. 승인 후 내용이 변경된 경우에는 재승인을 요청합니다.
AI가 “자신 있습니다”라고 답한 것만으로 승인을 생략하지 않고, 확인 가능한 조건으로서 필요 항목의 충족 여부 및 대상 범위를 활용합니다.
근거 및 작동 기록을 남기십시오.
어떤 자료를 참조하고, 누가 승인했으며, 어떤 내용을 등록 및 전송했는지 기록합니다. 절차서 문서명, 버전, 해당 부분을 확인하면 오래된 정보에 기반한 답변을 점검하기 쉬워집니다.
한편, 로그에 도면이나 개인 정보를 무제한으로 남기면 관리해야 할 정보가 증가합니다. 기록 항목, 조회자, 보존 기간을 정하고 비밀 정보를 필요 이상으로 남지 않도록 설계합니다.
예외적인 경우에 중단 없이 사람에게 인계합니다.
데이터가 보이지 않거나 정보가 모순되거나 대상 외 장비가 지정되는 경우에는 처리를 중단하고 담당자에게 확인합니다.
외부 이메일이나 첨부 자료에 섞여 들어온 지시가 AI를 유도하는 “프롬프트 인젝션”에 대한 대책도 필요합니다. 자료 안에 “다른 수신자에게 보내라”라고 해도, 업무상의 명령으로 적용하지 않도록 설계합니다. [1]
권한 취소를 하는 방법, 연계를 중지하는 방법, 오업데이트 시 복구 절차도 마련합니다. 이메일 전송 등 취소할 수 없는 작업은 실행 전에 반드시 확인하시기 바랍니다.
1. 사업 계획을 수립하세요. 사업 계획은 사업의 목표, 전략, 재무 예측을 포함하는 문서로, 사업의 방향을 설정하고 자금을 조달하는 데 도움이 됩니다.
2. 자금을 확보하세요. 사업을 시작하려면 자금이 필요하며, 개인 저축, 은행 대출, 투자 유치 등 다양한 방법으로 조달할 수 있습니다.
3. 사업을 등록하세요. 사업을 시작하려면 해당 관할 지역의 정부 기관에 사업을 등록해야 합니다.
4. 제품 또는 서비스를 개발하세요. 사업을 시작하려면 고객의 요구를 충족하는 제품 또는 서비스를 개발해야 합니다.
1단계: 확인하기 쉬운 업무를 하나 선택하십시오.
첫 번째 후보는 승인된 절차서 검색이나 과거 견적서 확인을 통한 확인 사항 추출 등을 포함합니다. 담당자가 정확성을 확인하기 용이하고 현장의 부담이 가중되는 업무를 선별합니다.
단순히 자료를 디지털화하는 것만으로는 충분하지 않습니다. 최신 버전, 승인 현황, 접근 범위를 정리하는 것 또한 준비에 포함해야 합니다.
단계 2: 제한된 자료와 이용자를 대상으로 시도
실행 중에는 고객에게 전송하거나 실제 데이터 업데이트를 제외하고 초안으로만 제한합니다.
일반적인 사건 외에도 조건 부족, 오래된 자료, 유사하지만 다른 제품의 사건, 접근 권한이 없는 자료 등을 시도하며, 정확하게 답변하는 것과 답변할 수 없는 경우 멈추는 것을 확인합니다.
3단계: 확인 및 수정 시간을 측정
AI가 초안을 만드는 시간만으로는 개선 효과를 판단할 수 없습니다. 사람이 근거를 확인하고 수정하는 시간까지 포함하여 평가합니다.
예를 들어, 1건당 작업 시간, 수정이 필요한 비율, 근거 확인 가능 비율, 불필요한 처리가 실행되지 않는지를 기록합니다. 도입 전 실제 업무와 비교하여 지속할 가치를 판단할 수 있습니다.
4단계: 조건을 설정하고 범위를 확장하십시오.
실험 결과가 양호할 경우, 초안 보존이나 담당자에게 내사 공지 등 제한적인 조작을 추가합니다.
승인된 자료 및 지정된 등록처만 사용하고, 처리 건수에 상한을 설정하는 등 조건을 명확히 하며, 모델 또는 연계 방식을 변경할 경우 재확인합니다. 자동화 범위는 효과와 운영 안정성을 고려하여 점진적으로 확대합니다.
자주 묻는 질문
사람이 확인하는 것을 의미로 간주한다면, AI를 사용하는 이유는 무엇일까요?
네, 자료 검색 및 초고 작성에 소요되는 노력이 줄어들면 담당자는 예외적인 사안 처리와 최종 결정에 시간을 활용할 수 있습니다. 다만, 검토 및 수정까지 포함하여 부담 경감 정도를 측정해야 합니다.
내부 자료 검색 시스템을 사용하면 오답은 사라지나요?
검색을 통해 답변에 활용하는 RAG(Retrieval-Augmented Generation)는 검색 누락, 오래된 자료 참조, 오독이 발생할 수 있습니다. 근거 표시와 버전 관리를 실시하고, 불명확한 경우 확인 절차를 거칩니다.
작은 회사라도 전담 관리 담당자가 필요한가요?
먼저, 해당 업무의 책임자, 승인자, 문제 발생 시 연락처를 명확히 합니다. 겸직 여부와 관계없이, 누가 무엇을 확인하는지 명확히 정하고, 변경이나 사고 발생 시 정기적으로 검토할 수 있는 운영 시스템이 필요합니다.
LiberaForm과 진행형 제조업의 생성 AI 활용
LiberaForm은 제조업체의 생산성 향상 및 혁신을 위한 생성 AI 솔루션입니다. 특히, LiberaForm은 기존의 정형화된 방식에서 벗어나, 실제 생산 현장의 데이터를 기반으로 새로운 디자인, 프로세스, 그리고 솔루션을 생성하는 데 특화되어 있습니다.
최근 LiberaForm을 도입한 A사에서는 제품 디자인 단계에서 생성 AI를 활용하여 단 3일 만에 새로운 디자인 컨셉을 10개 이상 생성했습니다. 기존에는 수 주에 걸쳐 진행되었던 디자인 프로세스를 획기적으로 단축시켰으며, 디자인팀은 생성 AI가 제시한 아이디어를 바탕으로 더욱 발전된 디자인을 개발했습니다.
또한, B사에서는 생산 프로세스 최적화를 위해 LiberaForm의 생성 AI를 활용했습니다. LiberaForm은 생산 데이터 분석을 통해 병목 현상을 파악하고, 새로운 생산 방식 및 설비 배치 방안을 제안했습니다. 이를 통해 생산 효율성을 15% 향상시키는 데 성공했습니다.
LiberaForm은 제조업체의 다양한 니즈에 맞춰 맞춤형 솔루션을 제공하며, 지속적인 데이터 학습을 통해 더욱 정교하고 효율적인 결과물을 만들어냅니다. LiberaForm을 통해 제조업체는 경쟁 우위를 확보하고, 미래 경쟁력을 강화할 수 있을 것입니다.
제조업의 생성형 AI 활용을 확대하기 위해서는, 회사의 업무를 분해하여 AI에 맡길 수 있는 작업과 사람이 판단하는 작업을 명확히 구분하는 것이 출발점이 됩니다.
리베라폼(LiberaForm)社는 업무 효율화, 의사 결정 지원, AI 챗봇 등의 DX·AI 도입을 기업에 맞춤형으로 동반하며 지원하고 있습니다.[2]
견적 작성 지원 및 기술 계승 정보 검색을 검토할 경우, 우선적으로 대상 업무와 자료를 좁히고 소규모 시제품을 활용하여 사용성 및 확인 부담을 검증하는 방식으로 진행하는 것이 적절할 수 있습니다.
AI 직원들을 현장 전투력으로 만들기 위해서는, 맡은 범위, 승인 절차, 기록 방법, 중단 방법을 먼저 결정하는 것이 중요합니다. 자사에서 어떤 업무부터 시작할지 고민이신 분은 LiberaForm에 상담해 주십시오.
DX·AI 도입 지원 관련 문의는 여기를 참고해주세요.
출처: note 원문
번역: Gemma 3(.44) 초벌 + 교정 51청크
원문 보기 | 출처: note.com