지난번에는 AI 직원들의 ‘급여’에 대해 논의했다. 저렴한 AI에게 업무를 맡기는 것이 좋은 일인지 아닌지에 대한 단순한 이야기가 아니었다. 업무 수정이 늘어났을 경우 결국 비용이 많이 들 수 있다는 문제 제기였다. 그런 이야기를 하던 중, 갑자기 궁금해졌다. ‘AI 직원들이 맡은 업무 중 어떤 것이 실제로 ‘합격’ 판정을 받았는지, 누가 그 판단을 내렸는지 궁금했다.’ 이 질문을 생각하기 시작했을 때, 조금 복잡한 문제라는 것을 깨달았다.
검사원을 배치하면, 그것으로 안심하는 건가요?
예를 들어, 조사를 수행하는 AI 직원과 별도로, 검토 담당 AI를 준비한다면 조사 담당이 결과물을 제출한다. 검토 담당이 확인하고 문제가 없다면 합격을 낸다. 이 시스템은 직관적이다. 하지만 여기서 걸렸다. ‘검토 AI가 틀렸을 때, 누가 알아챌까?’ 제작하는 AI가 틀리는 것은 쉽게 상상할 수 있다. 하지만 평가하는 AI도 마찬가지로 같은 방식으로 틀릴 가능성이 있다. 채점 담당을 늘리는 것만으로는 안심할 수 있는 이유는 되지 않는다.
같은 일을 하는데 92점과 58점이 나왔네.
이제부터는 사고를 정리하기 위한 가상의 예시입니다. 실제로 이 점수가 나왔다는 이야기가 아닙니다. 어느 AI 직원이 만든 결과물을 두 개의 평가 AI에 넘겼다고 가정해 보겠습니다. 평가 AI A는 ‘92점. 합격입니다’라고 평가했고, 평가 AI B는 ‘58점. 수정이 필요합니다’라고 평가했습니다. … 어, 어느 쪽이 맞지? 한쪽이 틀렸을 수도 있고,そもそも 보는 포인트가 다를 수도 있습니다. 숫자를만 보고 다수결을 했다고 생각하고 싶지만, 평가 AI를 3명으로 늘려 2대1로 된 상황에서도 그것이 정답이라고 단정할 수 없습니다. 중요한 것은 ‘누가 높은 점수를 주었느냐’보다 ‘그 판단이 얼마나 정확할 것 같은가’입니다.
채점 AI에도 시험이 필요합니다.
그러면, 평가하는 AI의 능력도 시험해 볼 수 있다. 예를 들어, 미리 문제점이 알려져 있는 결과물을 몇 가지 준비한다. 명백한 실수가 있는 것, 문제점이 없는 것, 판단이 어려운 것들을 평가 AI에게 보여주고, 어디를 문제로 지적하는지 확인한다. 실수를 놓치지 않았는지, 문제점이 없는 것까지 불합격시키지 않았는지, 매번 판정이 크게 달라지지 않는지 확인하는 과정에서 ‘이 체크 담당은 어떤 일이라면 맡길 수 있을까’를 생각하는 데 도움이 되는 자료를 얻을 수 있다.
물론, 테스트용 결과물을 제작한 것 외에는 완벽하지 않다. 실제 업무에서는 예상치 못한 문제도 발생한다. 따라서 평가하는 AI가 한 번 합격했다고 끝난 것이 아니다.
무서운 것은 불합격보다 “잘못된 합격”일지도 모른다는 사실일지도 모른다.
평가에는 최소 두 가지 유형의 실수가 존재한다. 실제로는 문제가 있는데도 ‘합격’으로 처리하거나, 반대로 문제가 없는데도 ‘불합격’으로 처리하는 것이다. 전자는 잘못된 결과물이 그대로 다음 업무에 사용될 수도 있고, 후자는 불필요한 수정이 늘어나 시간과 비용이 소모될 수 있다. 어느 쪽 모두 문제가 되지만, 업무의 중요도는 다르다. 예를 들어, 사내에서 아이디어를 내는 글과 고객에게 전달하는 공식 자료에서는 간과해서는 안 되는 실수가 다르다. 따라서 ‘몇 점 이상이면 합격’뿐만 아니라, 평가 AI가 무엇을 놓치기 쉬운지까지 파악해야 한다.
평점이 하락할 때, 시스템 개선이 필요합니다.
제가 추구하는 것은 AI同士가 끊임없이 서로를 평가하는 회사와는 다릅니다. 의견이 일치하고 판단의 근거도 확인할 수 있다면 다음 단계로 나아갈 수 있습니다. 반면, 평가가 크게 떨어지거나 근거가 모호할 경우에는 그곳에서 멈춰섭니다. ‘왜 판정이 다른가’를 확인할 수 있도록 하고, 필요하다면 인간이 판단하도록 합니다. 여기서 중요한 것은 AI가 자신감 있게 ‘합격입니다!’라고 말하는 것이 아니라, 자신감이 없을 때 그것을 제대로 드러낼 수 있다는 점입니다. 현재 제작 중인 AI 직원도こうした 평가의 신뢰성을 어떻게 확인하는가는 앞으로 검증해야 할 부분입니다.
이미 완성된 시스템으로 소개할 단계에 이르지 않았다.
확인해야 할 대상은 “누가”가 아니라 “어떻게 확인해야 하는가”이다.
처음에는 ‘AI 직원들의 업무를 누가 확인하는가?’라는 의문이었다. 하지만 생각할수록 조금 더 답이 바뀌어갔다. 확인 담당 AI를 결정하는 것 자체가 목표가 아니었다. 그 AI가 정확하게 업무를 확인하고 있는지 확인하고, 실수를 하고 있는지 알아내고, 의심스러울 때는 멈추게 하는 그런 시스템까지 포함해야만 ‘업무를 맡길 수 있다’에 가까워질 수 있을 것이다. AI 직원을 신뢰할 것인지, 신뢰하지 않을 것인지, 그것이 아니라 신뢰할 수 있는 이유를 조금씩 늘려가는 것이다. 나는, 그런 AI 직원의 회사를 만들고 싶다.
다음으로, AI 직원들은 정말로 성장하고 있는 것일까?
평가를 위한 시스템을 고민하려다 보니, 다음과 같은 의문도 떠올랐습니다. ‘이전보다 좋아졌다’라고 말할 때, 무엇을 보거나 확인해야 하는 걸까요? 단순히 같은 실수를 반복하지 않아서 충분한 걸까요? 아니면 업무 속도나 수정 횟수까지 살펴봐야 하는 걸까요. 다음에는 AI 직원 개선을 ‘감으로는 조금 나아진 것 같다’고 끝내지 않고, 어떻게 증명할지 고민해보고 싶습니다. 자세한 내용은 다음번에 다시 하겠습니다. 기요시
출처: note 원문
번역: Gemma 3(.44) 초벌 + 교정 13청크
원문 보기 | 출처: note.com