# AI 직원 교육에서 놓친 것들——같은 지적이 두 번 반복되면, 그것은 결과물이 아니었다

> https://bookfactory.kr/c/ai-tech/11873
> 게시판: AI·머신러닝
> 작성자: admin
> 작성일: 2026-09-13T19:36:16.556Z

---

![見出し画像](https://assets.st-note.com/production/uploads/images/308791776/rectangle_large_type_2_c415e34f91c2dd713b018285d4ab7cfc.png?width=1280)

AI 직원에게 일을 맡기고 돌아와서 결과가 달랐을 때, 당신은 무엇을 바로잡고 있습니까?

저는 항상 돌아온 것을 수리하고 있었습니다.

여백이 어색하게 삐뚤빼뚤한 경우, 해당 이미지를 다시 제작해 드립니다. “이런 식으로 말씀하지 마세요”라고 하시면, 해당 문장을 수정해 드립니다. 빠르고, 현장도 깔끔하게 정리됩니다.

그 다음 날 또 같은 일이 일어났습니다.

오늘은 PLai에서 30명의 AI 직원들을 매일 운영하는 과정에서 AI 직원 교육 방식을 완전히 바꾸는 이야기를 말씀드리겠습니다. 칭찬이나 질책 같은 이야기가 아닙니다. 훨씬 더 미묘하고, 훨씬 더 효과적인 이야기입니다.

## AI 직원 교육 시, 처음 실시했던 것

처음에는 이렇게 지냈었습니다.

지적 사항이 접수되었다. 해당 AI 직원에게 “이렇게 말해서 그런 거니 수정해 줘”라고 전달한다. 수정된다. 다음 단계로 넘어가자.

이건 사람을 상대하는 일의 감각과 거의 같다고 생각했기에 의심하지 않았습니다.

하지만 사람과는 다른 점이 하나 있습니다. AI 직원(社員)은 다음 날 아침에는 어제 대화 내용을 기억하지 않습니다.

우리 AI 직원(社員)은 매일 아침 5시에 무인으로 작동합니다. 그 때 읽는 것은 전날의 대화 내용이 아닌, 그 날의 역할(ロール)에 대한 지시서입니다. 지시서에 명시되지 않은 내용은 다음 날에는 존재하지 않습니다.

즉, 결과물만 수리하는 것은 “한 번 손으로 닦은 것”과 같습니다. 오염의 근본 원인에는 아무런 영향이 없었습니다.

## 첫 번째 지적: 결과물을 수정하고 완료했다.

구체적인 예시로 작성합니다.

우리 AI 직원 중 하나는 매일 그림 설명이 포함된 자료를 제작합니다. 그 그림에는 검은 상자를 깔고 흰색 배경으로 텍스트를 넣는 방식으로 만들어졌는데, 어느 날 이렇게 지적받았습니다.

배경에 검은 상자를 넣는다면, 상하단의 여백을 절대적으로 맞춰주세요.

봐보니, 확실히 엇갈려 있었습니다. 위쪽은 막혀 있고, 아래쪽은 비어 있었습니다.

그 자리에서는 여백의 지정 사항을 바로 수정했습니다. 상하에 동일한 숫자를 넣어 다시 내보냈고, 검토를 통과했습니다. 그래서 끝이라고 생각했었죠.

다음 날, 또 같은 차이가 나타났습니다.

## 두 번째 시도에서 깨달은 “수정해야 할 부분이 다르다”

왜 고치지 않았던 걸까요?

그 이유는 엉뚱한 이야기였고, 상하에 동일한 여백을 지정하더라도 일본어 글자는 좌우가 동일하게 보이지 않는 문제였습니다. 글자의 실체는 지정된 틀 안에서 약간 위쪽으로 배치되기 때문입니다. 따라서 제작자의 의식으로는 동일한 숫자를 사용한 것 같아 보이지만, 그림으로는 그렇지 않은 것입니다.

여기서 멈추었습니다.

제가 고친 것은 “그 날의 이미지”입니다. 하지만 망가진 것은 “여백을 맞춰보려는 태도”였습니다. 같은 태도로 또 한 장을 만들면, 또 같은 틈새가 생기리라는 것은 명백합니다.

그러려면 방법을 바꾸었습니다.

제시된 지시를 수정하는 대신, 완성된 이미지를 실제 크기로 측정하여 상하 여백이 일치할 때까지 재제작하는 검사를 공정에 반영했다. 제작자의 의도라기보다는 완성된 그림 자체를 측정하는 것이다.

실측 결과, 상단 7px, 하단 48px(차이 41px)였던 항목이 상하단 모두 48px(차이 0)로 수정되었습니다. 이후 이 지적은 한 번도 접수되지 않았습니다.

![画像](https://assets.st-note.com/img/1788148792-exiuQJj1VC0lhRaGA6sZMrB8.png?width=1200)

## 기계에 보여줄 형태와 사람이 내용을 볼 때 텍스트를 하이라이트하라.

이 일(사건)을 계기로, 지적이 나올 때마다 1행씩 더해가는 표를 만들었습니다. 왼쪽에 “무엇을 말했는지”를, 오른쪽에 “기계가 멈추는 지점”을 기록했습니다. 현재 32행입니다.

지적에는 두 가지 종류가 있다는 점이었습니다.

기계로 막을 수 있는 것들은 여백의 ずれ, 글자 보기의 切れ, 로고의 크기, 정보의 쇠퇴이다. 모두 “형태”이므로 세어보면 알 수 있다. 세어보면 사람이 기억할 필요는 없다.

기계로는 막을 수 없는 것. 그림 속 숫자가 진실인지, 로고가 잘못되지 않았는지, 공식 영어 표현이 정확히 읽혔는지 확인하는 것은 ‘내용’ 자체에 대한 검사이기 때문에 형태 검사에는 전혀 반영되지 않습니다.

그래서 오른쪽 열에는 “기계”와 “시선 검사”를 분리하여 작성하고 있습니다. 또한 시선 검사 측면에는 기계로 할 수 없는 이유까지 상세히 기록해 두는 것입니다. 기록해 놓지 않으면 반년 뒤에 누군가 “이것도 자동화할 수 있지 않을까요?”라고 말하며 또다시 같은 문제로 반복되는 상황이 발생하기 때문입니다.

선별 효과는 생각했던 것보다 컸습니다. 모든 것을 기계로 하려 하면 검사가 소홀해지고, 모든 것을 눈으로 보려 하면 사람이 감당하기 어려웠습니다. 분할하는 순간, 둘 다 짙어졌습니다.

내부 측에서 실제로 이루어진 일에 대해서도 상세히 기록하고 있습니다. 그림 안에, 제가 한 번도 건네받지 않았던 금액이 들어 있었던 경우가 있었습니다. 합리적인 자리수를 가지면서, 합리적인 위치에, 깔끔한 글꼴로 표기되어 있습니다. 또 다른 한 번의 경우, 특정 회사의 툴을 다룬 기사인데, 전혀 관련이 없는 다른 회사의 로고가 무려 두 장이나 붙어 있었습니다.

모든 기계 검사에서 규격을 통과했습니다. 형태가 완벽하게 갖춰진 작품은 거의 발견되지 않았기 때문입니다. 그래서 이 사건 이후로 생성된 이미지들은 모두 사람이 한 장씩 띄워 보면서 확인하는 방식으로 정했습니다. AI 직원 교육 과정에서 ‘자동화하지 않는다’는 원칙을 세운 곳은 현재까지 이곳뿐입니다.

## 교육을 기계에 넘기면 이렇게 될 것이다 (실제로 3가지).

표 안에서 실제로 효과가 있었던 3건을 적겠습니다.

첫째는, 이전에 말씀하신 여백입니다. 규격을 대체하여 완성된 제품을 측정하는 검사로 교체했습니다.

두 번째는 그림 속 로고의 크기였습니다. “너무 작아서 보이지 않는다”는 지적을 받아 원인을 조사한 결과, 투명한 여백이 원인이었습니다. 로고 이미지 파일은 주변에 넓은 투명 부분이 많아 실제 마크는 이미지의 30% 미만이었습니다. 이를 “높이 44px”로 지정하여, 독자에게 보이는 로고는 24×11px로 줄어들었습니다. 그림의 가로 폭에 대해 1.6%를 차지합니다.

수정 방법은 단순히 지시를 크게 하는 것이 아니었습니다. 투명한 여백을 잘라내고 실제 잉크 범위로 측정하도록 했습니다. 그 위에 “그림 폭의 9.0%”라는 수치 규격을 적용했습니다.

최소 6.1%, 중앙값 9.0%, 최대 13.3%입니다. 허용 범위는 8~11.5%입니다.

세 번째는 정보의 최신성을 의미합니다. “1주일 전 정보를 최신 정보로 제시하지 마세요”라고 지시하신 사례입니다.

이는 공정을 변경했습니다. 1차 정보의 공개일을 반드시 원고의 서두에 명시하도록 했습니다. 또한, 기사 발행일로부터 2일이 지나면 검수를 중단합니다. 작성자가 “이것이 새로운 것”이라고 생각하는지 여부는 더 이상 중요하지 않습니다.

![画像](https://assets.st-note.com/img/1788148795-SgJWAzEjhoFvUyRB5NMn107I.png?width=1200)

## 지침서의 어느 위치에 표시해야 하는가 — 장소가 3곳 있다.

지시서를 수정한다고 적었지만, 사실 여기에도 함정이 있었습니다.

매번 수정할 때마다 지시서에 내용을 추가했더니, 지시서가 점점 두꺼워졌습니다. 두꺼워진 지시서는 읽기 어려웠습니다. 정확히는 AI가 읽지만, 중요한 내용이 흐릿해져 결국 지켜지지 않게 되었습니다. 내용을 덧붙일수록 지켜지지 않는, 매우 불쾌한 상태가 되었습니다.

현재는 덧셈 위치를 3개로 나누고 있습니다.

첫 번째는 헌법과 관련된 짧은 문서입니다. 여기에는 “지켜주고 싶은 일행”만 기재하고, 그 이유나 과정은 쓰지 않습니다. 저희는 상한선을 정해놓고, 이 문서가 8킬로바이트를 초과하면 기계가 경고를 출력하며, 글자 수로 치면 원고지 10매 분량 정도입니다. 그 이상은 허용하지 않습니다.

두 번째는 본문의 위치입니다. 경위, 실측, 왜 이렇게 된 건지는 이 정본 파일에 기록합니다. 헌법에서는 1행의 링크만 참조하며, 여기서 굵게 표시하는 것은 괜찮습니다. 필요할 때만 읽습니다.

세 번째는 검사를 실시합니다. 3회가 넘은 품목이거나, 계산으로 명확히 알 수 있는 경우에는 문장이 아닌 공정 단계의 검사로 전환합니다. 이 단계에 해당하는 항목은 헌법이나 본문에서도 삭제해도 무방합니다. 이는 보호 주체가 사람에서 프로그램으로 이양되었기 때문입니다.

이 세 층으로 나누면 지침서가 얇아졌습니다.

과거에는 “중요하니 기록해야 한다”는 이유로 모든 것이 같은 장소에 쌓여 있었다. 같은 내용이 두 곳에 쓰여 있으면 한쪽만 수정되고 다른 한쪽은 그대로 남아 있다. 실제로 그러한 방식으로 한 번, 결정된 새로운 방식이 지워진 오래된 기록의 영향으로 11개 항목이 원래대로 되돌아갔다.

같은 내용을 2군데에 쓰지 마십시오. AI 직원 교육에서 가장 조용하고, 가장 효과적인 규칙일 수도 있습니다.

## 한 가지 지적을 “항상 그렇게 하라”로 바꾼 날, 모두의 얼굴이 똑같아졌다.

이 정도까지 읽어보면, 지적들을 한쪽 끝부터 규칙에 맞게 정리하면 되겠다는 인상을 줄 것 같습니다.

그렇게 생각했는데, 한 번 실패했습니다.

표지에 대한 코멘트 중 “이 제목이 질문의 형태를 띄어 시선을 사로잡는다는 취지”라는 지적을 받은 적이 있었습니다. 저는 그것을 “질문 형태가 효과적”이라는 일반적인 규칙으로 해석했습니다.

다음 날, 5권 중 4권의 표지가 “왜 ~인지”로 시작했습니다.

목록으로 살펴보면 명백히 불편하다. 지적의 의도는 “그 에피소드에 맞춰서 전달해라”라는 것이었고, “이 형태를 사용해라”라는 것이 아니었다.

아, 그런 건 읽으면 바로 알겠다고 생각하시는 분들도 계실 거예요. 저도 그렇게 생각했어요. 하지만, 지적을 규칙으로 전환하는 과정 자체가 구체적인 부분을 버리고 추상적인 것을 남기는 작업이기 때문에, 그냥 두면 반드시 이렇게 되는 거예요. 버려지는 건 보통 “그것이 왜 효과가 있었는지”의 부분이죠.

해결책은 규칙의 변경 방식을 바꾸는 것이었습니다.

항상 질문의 형식을 유지하는 것이 아니라, 그 날의 5본을 묶어 같은 문장이 3본 이상 중복되어 나타나지 않는지 확인하는 것. 편중 현상을 금지한다.

또 다른 유사한 실수를 저질렀습니다. 문장 작성 방식을 검사하는 시스템을 만들 때, 임계값을 직관적으로 설정했기 때문입니다. “질문이 2회 미만이면 주의”, “같은 어미가 4회 연속으로 나타나면 주의”와 같은 방식이었죠.

본문에 참고했던 문장을 똑같은 물건쇠로 재어보니, 본문에 참고한 내용이 더 짧게 측정되었습니다. 질문이 0회 반복되는 문장도 있었고, 종결이 5회 연결되는 문장도 있었습니다.

이제 시험지를 만들 때마다 반드시 정답을 먼저 확인합니다. 기준은 학생들의 풀이 기준으로 실제 난이도를 측정하여 결정합니다.

## 기계가 “0건”을 반환했을 때는 대부분 불합격입니다.

검사를 확대할수록, 검사 자체도 서서히 고장 납니다.

저희가 실제로 경험했던 사례는 다음과 같았습니다.

다른 회사의 기사를 그대로 복사하지 않았는지 확인하는 검사가 있습니다. 어느 날, 그 검사가 “일치 0건”을 반환했습니다. 합격처럼 보일 텐데요. 실제로는, 비교하는 측의 데이터가 1건도 읽어들일 수 없었던 것뿐이었습니다.

비교 대상이 없으면 일치는 반드시 0건이 됩니다. “0건”과 “조사하지 않음”은 화면 상에서 같은 얼굴을 하고 있습니다.

같은 유형의 사고는 다른 곳에서도 있었습니다. 공식 업데이트 정보를 확인하는 과정에서 정보를 가져가는 처리를 건너뛰고 장부를 읽는 것だけに 의존했던 시기가 있었는데, “오늘 업데이트 없음”과 “아직 가져오지 않음”이 구분되지 않았습니다. 5일 분량의 오래된 정보를 새로운 정보로 취급했습니다.

대책은 두 가지입니다.

하나의 경우, 0건을 합격으로 인정하지 않는 것입니다. 비교 대상자를 읽지 못했던 검사는 합격이 아닌 “검사 불능”으로 중단합니다.

또 하나는 마지막으로 가져간 시간을 기록해 두는 것입니다. 저희는 실제로 가져온 순간에 인지(判子)를 찍고, 그 인지로부터 24시간이 초과되면 다음 공정이 멈추도록 했습니다.

AI 직원 교육에서 효과가 나는 이유는, AI가 “합격했다”는 것을 솔직하게 믿기 때문입니다. 사람이라면 “오늘은 어찌나 조용한가”라고 생각하는 부분을, AI는 생각하지 않습니다. 따라서, 조용한 시간에 조용하다라고 말할 수 있는 시스템을 저희가 미리 준비해 두어야 합니다.

## 가르친 바를 잊지 않도록 만드는 형태입니다.

요약하자면, AI 직원 교육에서 하고 있는 일은 다음과 같은 순서입니다.

첫 번째 지적: 그 자리에서 나온 결과물을 바로잡고, 이 부분은 지금까지와 다름없이 진행한다.

두 번째 동일한 지적 사항입니다. 결과물에 직접적으로 간섭하지 말고, 지시서 또는 공정 검토를 수정합니다.

또한, 수정 사항을 표에 한 줄로 추가한다. 왼쪽에는 지적 위치를, 오른쪽에는 멈춤 위치를 표시한다.

이 “2회차에서 위치를 바꾸는” 규칙이 가장 효과적이었습니다. 1회차에서 갑자기 시스템을 바로 수리하면, 우연히 한 번의 취향까지 규칙으로 정해질 수 있습니다. 3회차까지 기다리면, 그 사이에 같은 사고가 두 번 발생합니다.

참고로, 지시서를 수정할 때는 원본을 덮어쓰는 대신 차이점을 적용하고 있습니다. 여러 AI 직원들이 병렬적으로 움직이기 때문에, 오래된 버전을 완전히 다시 쓰면 다른 사람이 추가한 개선 사항이 조용히 사라지는 문제가 발생할 수 있습니다. 이 또한 한 번 발생했던 적이 있습니다.

이 순서를 정한 이후, AI 직원 교육에 소요되는 시간이 달라졌습니다. 이전에는 매일 아침 특정 지적이 반복적으로 제기되었고, 그럴 때마다 사람이 같은 설명을 반복하고, 개선된 것처럼 느껴지면서 다음 날을 맞이하는 경우가 많았습니다. 하지만 지금은 같은 지적이 제기될 때마다 “이는 두 번째이기 때문에, 장소를 바꾸는 날이다”라고 알 수 있어 망설일 시간이 없습니다.

재미있는 점은 이 규칙이 사람의 측면에도 효과가 있었다는 것입니다. 지적하는 측도 “첫 번째는 결과물, 두 번째는 시스템”이라고 깨닫게 되면, 두 번째 전달 방식이 달라집니다. “또 빗나가고 있네” 대신 “이건 두 번째니까 시스템에 초점을 맞춰”라고 말해줄 수 있습니다. 그러면 우리는 어떤 과정을 보살펴야 할지 처음부터 찾을 수 있습니다.

![画像](https://assets.st-note.com/img/1788148798-HKJlD4dha59MIPpW1C0O8gwx.png?width=1200)

## AI 직원 교육, 내일로부터의 한 걸음

더 길어졌으니, 하나만 말씀드리겠습니다.

지난 1주일 동안 똑같은 내용의 지적을 두 번 한 상대방을 떠올려 보세요. 사람이어도 AI이든 상관없습니다.

첫 번째 수정 방식이 틀렸다는 점을 다시 말씀드립니다. 결과물을 수정했다면, 다음으로는 위치를 변경합니다. 절차서의 한 줄 또는 검사 항목 중 하나를 선택하여 진행해주세요.

그것만으로도 3회를 줄일 수 있습니다. 저희 집에서는 이 표가 32행까지 늘어났습니다.

오늘 있었던 이야기는 다음과 같습니다.

### AI 인력을 자체적으로 확보하는 방식들을 정리하고 있습니다.

주식회사 플레이(PLai)는 매일 30명의 AI 직원들을 움직이면서 발생한 실패와 그 날에 즉시 적용한 대책을 그대로 공개하고 있습니다. 지시서 작성 방법, 검사 방법, 수리 장소 결정 방식 등을 실제로 움직이는 것들만을 바탕으로 정리했습니다.

AI 직원 12가지 혜택 받기

AI 직원, 인재 개발, 업무 자동화, AI 에이전트, 운영 설계, 품질 관리, 지식 관리, 팀 운영, ClaudeCode, 생성 AI, 경영, 실패를 통해 배우기

**출처:** [note 원문](https://note.com/ripe_peony6219/n/n32d25526d0ef)

*번역: Gemma 3(.44) 초벌 + 교정 64청크*

[원문 보기](https://note.com/ripe_peony6219/n/n32d25526d0ef) | 출처: note.com