AI 직원에게 업무를 맡겨주신 분들께 여쭤보고 싶은데요, 전달드린 자료나 결과물에서 어떤 부분에 언급되어 있나요?
저는 그것을 듣고 질문을 받았을 때 대답할 수 없었습니다.
최근 거래처에 답변을 AI 직원에게 작성하게 했습니다. 전날까지 모든 관련 자료를 완비해 두었습니다. 영상의 고정 이미지를 126コマ 분량으로 읽어내고, 음성도 전체 내용을 텍스트로 변환하여 핵심 화면을 7장으로 잘라놓았습니다.
제시된 답변을 읽은 후, 그 중 2개만 활용되었습니다.
이 글에서 답하는 질문은 하나입니다. 인공지능 직원의 결과물을 무엇으로 “완료”라고 판단할 것인가.
저희가 무엇을 놓치고 있었고, 그 후에 판정 기준을 어떻게 바꿨는지에 대해 설명드리겠습니다.
AI 사원의 검시는 형식의 불비를 전부 부수어도 부족하다.
먼저, 가장 효과적인 사실부터 말씀드리겠습니다.
그때, 기계 검사는 모두 통과했습니다.
정보 유출 검사는 관련 0건, 자가 테스트는 실패 0건. 문자 수는 규정 내이며, 금지어는 포함되지 않았습니다. 형식상 문제점은 발견되지 않았습니다.
그럼에도 불구하고, 결과물 자체는 미달이었습니다.
기계가 인지하는 것은 “형태”일 뿐입니다. 내용이 희박한지 여부는 검사에 반영되지 않으며, 오히려 희박한 문장이 위험한 표현이 적은 만큼 검사를 원활하게 통과합니다.
그렇게 깨달았을 때, 상당히 겁이 났습니다. 검사 결과가 모두 통과했다는 사실은 품질의 증명으로 이어지지 않았습니다. 단순히 통과했다는 사실이 누적되어, 통과했기 때문에 괜찮다고 생각하고 있었던 것입니다.
가지고 있는 것과 사용한 것은 완전히 다른 것이었습니다.
무엇이 있었는지 좀 더 구체적으로 설명해 주시겠어요?
어제 작업에서는 영상을 제대로 실측했습니다. 126コマ의 텍스트 인식, 7장의 자른 영상 모두 완료되었으며, 작업 기록에도 “실측 완료”라고 기록되어 있습니다.
그러니까 답변에는 “원인”과 “소요 시간” 두 가지만 있었습니다.
제출된 7매는 단 하나도 펼쳐진 상태로 제출되지 않았습니다. 음성 기록물의 전체 내용도 다시 읽어보지 않았습니다. 자료는 있지만, 결과물은 전달되지 않았습니다.
지적을 받은 후 7장을 한 장씩 펼쳐 보았고, 받아쓰기도 처음부터 꼼꼼히 읽었습니다.
그것까지 아무도 지적하지 않았던 사실이 3건이 드러났습니다.
세 작품 모두 처음부터 소재에 이미 담겨 있었습니다. 단순히 본 것뿐이었습니다. 보지 않았던 것뿐이었습니다.
그때 “그래서 전날 실측이 대체 무슨 의미였을까”라고 생각했던 것을 꽤 기억합니다.
같은 날 세 번째, 같은 방식으로 되돌아왔다.
또 다른 사실 하나를 뒤에서 정리하면서 발견했습니다.
그 날, 저는 3번이나 지적을 받았습니다. 흩어져 있는 지적이라고 생각했는데, 적어보니 3번 모두 같은 형태였습니다.
첫 번째 경우에는, 실제로 확인할 수 없는 상태에서 “이미 보낸 것 같다”고 추론했던 것을 사실로 확인한 것입니다. “대략”이라고 써야 할 부분은 “확실하다”고 쓰여 있었습니다. 실제로 확인하기 전까지는 미확정 상태라는 보류가 제 손에는 있었지만, 글에는 나타나지 않았습니다.
두 번째 측정은 직전에 했던 실측에 대한 이야기입니다. 재료는 가지고 있었지만, 특정한 사실이 드러나지 않았습니다.
세 번째는 지시를 받는 방식에 관한 것이었습니다. 상대방의 발화 속에 “답변해달라”는 요청과 “모르겠다면 모른다고 말해달라”는 요구가 함께 포함되어 있었습니다. 저는 실행하기 쉬운 전자에만 집중하고, 후자는 이유를 대면서 섞어 버리는 경향이 있었습니다.
세 번 모두 재료와 지시사항도 준비되어 있었습니다. 충분히 사용하지 않았을 뿐입니다.
틀렸다는 의미가 아니었습니다. 가지고 있던 것을 사용하지 않았다는 이야기였습니다.
아니요, 지시사항을 꼼꼼하게 적는 것이 좋겠습니다.
그걸 생각하시는군요. 저도 처음에는 거기 갔었어요.
업로드한 이미지를 전부 확인 후 작성해 달라는 지시를 지시서에 반영했습니다.
이게 효과가 없는 이유는 두 가지입니다.
첫째, 지시가 많아질수록 그 효과는 약해집니다. 10번째 지시조차 1번째 지시와 같은 강도로 효과를 발휘하지 않습니다. 경쟁했을 때 우선순위가 명시되지 않아 한쪽이 쇠퇴하고, 이는 보고되지 않습니다.
또 다른 문제는 “본(視覚)의 증거”가 아닌, 인공지능이 “봤어요?”라고 질문받았을 때 “봤어요”라고 답변한다는 점입니다.
자, 저희가 도달한 결론은 이것입니다. 그것은,
과정 자체는 듣지 않고, 결과물에만 핵심적인 사실이 나타나 있는지만 확인한다.
그러게 말이야. 얼마 전에 친구가 “요즘 읽은 책에 감동받았다”고 하더라고. 구체적으로는 “별의 정원”을 다시 읽었다는데, 어릴 때 읽었을 때보다 훨씬 깊이 이해했다고 해. “별의 정원” 속 한 마리의 말에 다시 한번 내 인생에 대해 생각해보게 된 것 같고, 그 이야기를 듣고, 예전에 읽었던 “밤은 짧고, 소녀 달리세요”를 다시 읽어봐야겠다고 생각했어. 그 작품도 어른이 되고 나서 다시 읽으면 주인공인 소녀의 갈등이나 인생의 선택에 새로운 시선이 보일 것 같아. 독서는 때로는 자신과 마주하는 시간을 값진 시간으로 만들어 줄 것 같아.
확인할 수 없지만, 읽으면 글에 쓰여 있어야 할 내용이 없었다는 것을 알 수 있습니다.
AI 직원 검토 결과, 우리가 현재 보고 있는 3가지 항목
실제 판단에 사용하고 있는 항목은 3가지입니다.
첫째, 전달받은 자료에만 존재하는 고유한 사실이 본문 안에 있는지 확인해야 합니다. 일반론으로서도 성립 가능한 문장은 자료를 보지 않고도 작성할 수 있습니다. 날짜, 구체적인 숫자, 그 때 화면에 나타났던 단어 등, 이것들 중 하나라도 포함되어 있다면 자료에 대한 언급의 증거가 됩니다. 반대로 이것들 중 하나도 없다면, 실제 측정을 했다는 기록이 있어도 미달성으로 처리합니다.
두 번째로, 판단의 강함이 확인된 범위와 일치하는지 확인합니다. 실제로 보지 못했는데 “틀림없다”라고 적혀 있었다면 반품해 드립니다. 내용이 정확한지 여부와는 별개로, 확인된 범위보다 더 강한 표현을 사용하지 않는지 봅니다. 여기는 사실 확인보다 빠르게 판단할 수 있으므로 먼저 처리합니다.
세 번째로, 하나의 요청에 상반되는 요소가 포함되어 있다면, 그 두 요소가 모두 결과물에 나타나는지 확인합니다. “대답해”와 “모른다고 말해”가 함께 존재한다면, 그 중 하나만 구현되지 않았는지 살펴봅니다. 사람들은 행동으로 옮기기 쉬운 쪽만 선택하기 때문에, 선택하기 어려운 쪽은 버려진다는 전제하에 찾으면 발견됩니다.
세 작품 모두 AI에게 제작 과정에 대해 질문하지 않았습니다. 결과물만 보고 있습니다.
실제 측정은 “완료”로 끝나지 않는다.
가장 와닿았던 건 완료의 정의를 바꾼 거기였다.
이전에는 실제 측정을 완료한 시점에서 바로 완료 처리했습니다. 작업 기록에 “실측 완료”라고 작성할 수 있는 상태였습니다.
현재는 결과물에 내재된 사실로서의 시점을 완료하고 있습니다.
이 차이는 꽤 크다. 앞 경우라면 실측은 “할 일 목록의 1 항목”으로, 완료되면 다음 단계로 넘어간다. 뒤 경우라면 실측은 결과물의 재료로 간주되며, 사용되지 않으면 아직 완료되지 않은 것이다.
똑같은 작업을 하는데, 대우가 달라지는군요.
솔직히 말씀드리면, 저희는 이것을 몇 번이나 뒤집고 나서야 비로소 명확하게 정의할 수 있었습니다. 처음에는 ‘AI의 정확도 문제’라고 생각했었거든요. 실제로는 단순히 ‘완성’의 정의가 충분히 명확하지 않았다는 문제였습니다.
AI社員은, 저희가 정의한 완료 조건에 대해 정확하게 작동합니다. 정의가 “실행했다”라면, 실행을 완료하고 종료합니다. 그것은 사양대로입니다.
AI 직원 검수를 오늘 1건만 수정합니다.
오늘은 딱 하나만 시도해 보세요.
최근 AI 직원에게 맡긴 결과물 중 하나를 열어보고, 전달받은 자료에만 존재하는 고유한 사실이 몇 개나 들어있는지 세어보았다.
그렇다면, 그것이 바로 오늘날의 답이 됩니다. 자료를 전달한 것과 자료가 사용된 것은 별개의 일이었다는 이야기입니다.
세는 것은 간단하고, 그 문장이 일반론으로서도 성립하는지 확인하는 것뿐입니다. 성립한다면 재료는 필요하지 않았고, 성립하지 않는다면 재료에 영향을 주고 있습니다.
우리는 이를 지적을 받기 전까지 시작하지 않았습니다. 순서상으로는 늦었던 것 같습니다. 다만, 기계의 검사를 아무리 늘려도 이 부분은 채워지지 않았기에, 늦더라도 들어갈 수 있었던 기준이었습니다.
AI 직원들은 빠릅니다. 빠르기 때문에 재료를 다 써도 결과물의 형태는 만들어집니다. 오늘 이런 이야기를 나누었습니다.
AI 직원에게 업무를 맡길 때 완료의 정의와 저희가 겪었던 사고 목록은 이 곳에 정리되어 있습니다.
12가지 주요 혜택을 받으세요.
AI 직원, 검품, 품질 관리, 업무 자동화, AI 에이전트, 지시서, 리뷰, 운영 설계, 1차 정보, 경영, 조직 설계, 생성 AI, 팀 운영, 시스템화, 고객 대응, 중소기업
출처: note 원문
번역: Gemma 3(.44) 초벌 + 교정 35청크
원문 보기 | 출처: note.com