AI社員의 “끝났습니다”는 결과물이 전달될 때까지 완료 획적으로 처리하지 않습니다. 믿었던 작업이 실제 현장에서 작동하지 않았던 날.
“끝났습니다”라고 말했을 때, 무엇을 보고 믿어야 할까요?
이는 그 기록입니다. 핵심 지시체 1개와 역할별 실무 에이전트입니다. 정기 처리 169개를 혼자서 약 7개월 동안 완료했습니다. 그 일지 중 하나입니다.
먼저 말씀드려야 할 부분입니다. 이 글을 읽더라도 AI 직원 보고가 정확해지는 방법은 얻을 수 없습니다. 보고는 오늘도 틀립니다. 제 곳에서는 매주 누군가가 고장 납니다. 얻을 수 있는 것은 오답을 실제 적용 전에 멈추게 하는 왕복의 형태뿐입니다.
제가 이것을 쓰는 이유는 “끝났습니다”라는 문장을 믿고 본장을 멈춘 기록을 순서대로 기록한 글이 보이지 않아서입니다. 잘된 이야기들을 많이 보게 되지만, 망가진 날의 기록은 적습니다. 그래서 기록합니다.
저는 프로 개발자가 아닙니다. 회사원입니다. 개인적인 시간을 활용하여 Claude Code에 만들어진 AI 에이전트를 “AI 직원”이라고 부르며 조직을 만들어 혼자 운영하고 있습니다. 지시관이 업무를 배분하고, 실무 에이전트가 작업을 수행하며, 지시관이 검토합니다. 이처럼 서로 주고받으며 움직이고 있습니다. 고장날 때마다 수리하고, 교훈을 1건 1파일로 남겨왔습니다. 이 기사 또한 그 파일 중 하나에서 비롯되었습니다.
이 글에서 가져갈 수 있는 것은 세 가지입니다.
완료 보고와 결과물의 실상이 다르다는 점을 구분한다.
두 번째로, 보고서의 문구에서 실제 제품으로 리뷰 대상을 변경하면서 반품 사유가 명확해지는 과정입니다.
세 번째, 위임할 때 “완료된 실물”을 먼저 결정해 두는 요청 문 방식입니다.
결론은 한 문장으로 먼저 전달드리겠습니다. 보고서는 검토 대상이 아니며, 검토 대상은 결과물의 실질적인 내용뿐입니다.
주변을 둘러보면, AI에 업무를 맡기는 사람이 늘어났습니다. 체감상으로는 맡기는 방법에 대한 이야기가 많고, 받아들이는 방법에 대한 이야기는 적습니다. “이렇게 요청하면 좋겠어요”와 같은 표현이 흔히 보이고, “결과물이 올라왔을 때 어떻게 의심해야 하는지”는 잘 보이지 않았습니다. 저 또한 그랬습니다. 맡기는 사람의 노력이 한편으로 치우쳐 있었고, 받아들이는 사람의 눈을 훈련시키지 못했습니다. AI 직원들은 보고서 작성에 능숙하며, 문장은 정중하고, 수행한 내용의 목록도 깔끔하게 정리되어 있습니다. 읽어보면 안심이 됩니다. 그 안심이 이번 사고의 발단이 되었습니다.
저희 조직에서는 위임은 “@역할명 업무 내용”이라는 한 줄로 시작합니다. 독립적인 업무는 여러 개를 동시에 투입합니다. 올라온 것은 司令塔(지시관)이 전 권을 검토하고, 합격 여부 또는 수정 지시를 돌려줍니다. 수정 지시는 이유를 명시하여, 수정될 때까지 왕복합니다. 검토 기준은 4단계로 문서화되어 있습니다. “움직였다”라는 의미가 아니라 “파괴하는 방법을 시도하지 않고 안정적으로 유지되었다”를 합격 조건으로 합니다.
이 글을 읽고 보니 꼼꼼하게 잘 되어 있는 것처럼 보입니다. 저도 그렇게 생각했습니다. 문서화된 기준이 있었고, 모든 항목에 대한 검토가 이루어졌습니다. 수정 사항이 상호 교환되었고요. 그럼에도 불구하고 실제 운영에는 사용되지 않았습니다. 그 이유는 하나입니다. 리뷰를 담당했던 것은 결과물 자체가 아니라, 실무 에이전트가 작성한 “보고서 초안”이었습니다.
사고의 시작은 본番 작동 확인 검사를 맡은 날입니다. 요청한 내용은 짧았으며, 본원에서 작동이 시작되었는지 확인하고 시작되지 않았다면 알리는 것뿐이었습니다. 실무 에이전트에게는 “검사를 추가했습니다. 동작을 확인했습니다”라는 보고가 돌아왔습니다. 지휘관은 그 문서를 읽고 합격을 냈으며, 저는 보고를 읽고 합격의 표시를 확인하여 그날을 마무리했습니다.
실패한 부분부터 시작한다. 나는 그 검사를 넣었던 날에 직접 눈으로 열어보지 않았다. “확인했습니다”라는 한 마디로 확인한 척만 되어 있었던 것이다. 지시 책임자도 마찬가지다. 보고서에는 “확인했습니다”라고 쓰여 있다. 4단계 기준에 보고서를 대봤을 때 합격처럼 보였다. 하지만 “부수 방법을 시도하지 않았고 떨어지지 않았다”는 부수 방법을 아무도 시도해보지 않았고, 검토도 그것을 요구하지 않았다.
이후, 본番 환경에서 “실행하지 않은” 것으로 보고가 올라왔습니다. 현장에 가보니, 처리는 실행 중이었습니다. 단순히 느린 것뿐이었습니다. 검사 내용을 열어보니, 그때서야 알 수 있었습니다. 그 검사는 “버튼을 눌러 일정 초 동안 잠자기” 방식이었고, 잠 깨는 시점의 상태를 확인하고 있었습니다. 본보는 현장보다 느렸습니다. 잠이 깨는 순간, 아직 실행 도중이었습니다. 이를 “실행하지 않은”이라고 말한 것입니다. 정상적인 것을, 고장난 것처럼 말한 셈입니다.
수정 방법 자체는 한 줄로 요약됩니다. 잠들기보다는 상태가 변할 때까지 기다리는 것입니다. 검사는 이를 그렇게 재구성했습니다. 하지만 그것은 검사에 대한 이야기일 뿐입니다. 진정한 원인은 검사가 아닌, 검토 대상이었습니다. 보고서를 읽고 합격을 받는 한, 같은 문제는 다른 처리 과정에서, 또 다른 방식으로 다시 발생할 것입니다.
이제부터 제가 위임과 검토의 주고받음을 어떻게 재구성했는지에 대한 이야기를 말씀드리겠습니다. 보고서 문서를 받는 대신, 무엇을 “완료의 실물”로 요청했는지에 대해 설명드리겠습니다. 실물을 앞에 두고 돌려보내는 이유가 무엇으로 보였는지, 그리고 지휘관에게 무엇을 말하게 하고 무엇을 말하지 않게 했는지, 차례대로 설명하겠습니다.
네 개의 단어를 모으다
위임, 보고, 실물, 리뷰
위임은 제가 지휘관에게 업무를 인계하는 것입니다. 작성 형식은 “@역할명 업무 내용”의 1행입니다. 지휘관은 이를 역할별 실무 에이전트에게 배차합니다. 독립적인 업무의 경우, 여러 에이전트에게 동시에 전달합니다. 위까지가 위임입니다.
보고서는 실무 에이전트로부터 회신하는 문서를 의미합니다. “완료되었습니다”, “검사를 통과했습니다”, “공연에서 확인되었습니다” 등의 내용입니다. 모두 텍스트이며, 텍스트는 읽을 수 있습니다. 읽을 수 있는 것은 그럴듯하게 보이기 때문입니다. 여기서 바로 함정의 문이 열렸습니다.
실물은 보고서 뒤에 숨겨진 대로여야 합니다. 수정된 파일, 검사 결과, 실제 상태를 담은 한 줄입니다. 보고서가 “검사를 통과했다”고 한다면, 통과된 검사의 결과가 실물입니다. “실행했다”고 한다면, 실행되었다는 기록이 실물입니다. 보고서는 실물을 가리키는 것일 뿐, 실물 그 자체가 아닙니다. 당연한 것을 당연하게 취급하지 않았습니다.
검토는 지휘관이 보고한 내용을 확인하여 합격 또는 반려 여부를 결정하는 작업입니다. 제 조직에서는 모든 건을 처리하며, 반려 시에는 구체적인 이유가 명시됩니다. 수정이 필요한 경우 왕복으로 진행하며, 기준은 4단계로 문서화되어 있습니다. 합격 조건은 “손상”이 아닌 “파괴 시도를 하지 않고 안정적으로 유지된 보고”입니다. 문서에는 그렇게 명시되어 있었고, 검토자는 보고를 읽고 있었지만 보는 대상이 달라진 것입니다.
네 가지 중 처음부터 정하지 않았던 것이 하나 있습니다. 그것은 실물입니다. 위임의 한 줄에는 “무엇을 할 것인가”는 쓰여 있었고, “무엇이 도착하면 끝이라고 간주할 것인가”는 쓰여 있지 않았습니다. 그 공백을 실무 에이전트가 글로 채운 것이 “끝났습니다.”였으며, 공백을 남긴 것은 저였습니다.
제 손안과 주변에서 이 한 해 동안 달라진 것들
2025년부터 2026년 사이에 일어났던 일들을 기록하겠습니다. 외부 정보원으로부터 얻은 것이 아니며, 제 자신의 화면에서 일어났던 일과 동일한 방식으로 운영하고 있는 사람들의 이야기를 바탕으로 합니다.
첫 번째. 보고서 작성 능력이 향상되었습니다. 이전에는 ‘완료’라는 한마디였습니다. 이제는 절차를 나열하고, 확인했다고 말하며, 주의사항까지 덧붙입니다. 읽기 자료로서 완벽하게 정리되어 있습니다. 정리가 잘될수록 사람은 내용의 중요성을 잊게 됩니다. 저 역시 그랬습니다. 보고서의 질이 향상된 결과, 검토의 질이 하락했습니다. 아이러니한 일입니다.
두 번째. 에이전트가 검사를 직접 작성하기 시작했습니다. 요청하지 않았는데 검사를 추가해 줍니다. 착한 일이지만, 그 검사는 손으로 했을 때 가장 빠르게 통과할 형태가 되기 쉽습니다. “밀고, 일정 초 동안 잠자고, 확인”도 그 중 하나입니다. 손으로 했을 때 통과하지만, 실제 본 공연은 손으로 한 것보다 훨씬 느립니다. 느린 본 공연에서 그 검사는 건강한 것을 망가뜨린다고 말합니다. 이것이 바로 제 사고의 문제입니다. 검사가 늘어난 것은 좋은 일이었지만, 검사 내용 자체를 아무도 보지 않았던 것이 문제였습니다.
세 번째. 지휘 타워와 실무 에이전트를 분리하는 방식이 주변에서도 흔해지기 시작했습니다. 저의 조직은 지휘 타워 1개와 역할별 실무 에이전트입니다. 같은 방식으로 운영하는 사람과 이야기하면 같은 지점에서 막힙니다. 지휘 타워가 “보고서 읽기 담당”이 되어 있기 때문입니다. 지휘 타워는 글에 능숙합니다. 그래서 보고서 검토를 능숙하게 처리하게 됩니다. 능숙하게 처리할수록 실제 물건이 전달되지 않는 폐쇄적인 시스템이 굳어집니다.
4번째 항목: “완료의 정의를 먼저 전달하는” 방식이 조금씩 보급되기 시작했습니다. 요청의 시작 부분에 “이것이 도착하면 끝”이라고 두는 방식입니다. 도착하지 않으면, 아무리 정성스러운 보고라도 미완료로 처리됩니다. 제가 이 유형으로 전환하게 된 것은 사고 이후였습니다. 전환하기 전에 이 생각 방법을 알았더라면, 그리고 지금도 생각합니다. 알았더라면, 사고 전에 움직였을지 여부는 알 수 없습니다.
다섯 번째. 리뷰에서 “고장 방법”을 요구하는 사람들이 늘었습니다. “움직였다”는 인정하지 않습니다. “이것으로 고장 내려고 했는데 떨어지지 않았다”는 기록을 요청합니다. 제 4단계 기준에는 처음부터 그렇게 명시되어 있어야 움직이지 않습니다. 기준은 요구하는 실제 형태에 맞춰 변환되어야 처음부터 작동합니다. 이것이 이번에 가장 강조하고 싶은 내용입니다.
제 이동을 숫자로 표현하겠습니다.
- 항목: 위임의 시작 / 제 조직에서의 값: 1행 (@역할명 업무 내용)
- 항목: 핵심 거점 / 제 조직 내에서의 가치: 1체
- 항목: 리뷰 대상 / 제 조직에서의 값: 전체
- 항목: 리뷰 기준 / 제 조직에서의 값: 4단계로 문서화
- 항목: 정기 처리 / 제 조직에서 사용된 본: 169개
- 항목: 운영 기간 / 제 조직에서의 값: 약 7개월
- 항목: 교훈 남기기 / 제 조직에서의 값: 1건 1파일
숫자는 이것뿐입니다. 읽어주고 싶은 것은 “전체”와 “4단계” 사이의 공백입니다. 전체 검토를 하고 있었으며, 기준도 4단계 있었습니다. 그럼에도 불구하고 실제 물건을 보지 못했으며, 이는 수의 문제라기보다는 대상의 문제였습니다. 회수를 늘리거나 기준을 늘려도 대상이 보고의 상태 그대로라면 아무 소용이 없습니다.
사고 다음 날 아침에 본 것
여기 개인적인 이야기를 하나 말씀드리겠습니다. 사고 다음 날 아침, 저는 지휘부에 “어제 보고서를 전부 제출해줘”라고 부탁했습니다. 줄지어 쓰여진 문장들은 모두 정중했습니다. 다시 읽어보니 제가 한 번도 의심하지 않았던 부분에気づ었습니다. 의심하지 않았던 이유는 바쁜 것이 아니었습니다. 문장이 능숙했기 때문입니다. 능숙한 문장에 안심하는 습관이 저에게 있었습니다. 그 습관을 깨닫게 된 것은 제 눈으로 본 아침이었죠. 부끄러움보다 먼저, 이해되는 느낌이 들었습니다.
교환형으로 되돌린다
기본으로 돌아가겠습니다. 위임과 검토의 주고받음은 원래 ‘실물을 挟む’ 목적으로 만들어진 시스템이었습니다. 위임으로 일을 전달하고, 실무자가 실물을 제작하며, 지휘자가 실물을 확인하고, 합격 여부를 결정하거나 다시 돌려보냅니다. 다시 돌려보낼 경우, 이유는 덧붙여서 돌려보냅니다. 이 순환 과정에는 원래 보고라는 글쓰기는 필요하지 않습니다. 실물이 전달되면, 덧붙임으로 충분합니다.
이 부분부터는 ‘쓰기 전후’를 비롯하여 실제로 사용한 프롬프트의 전체 내용과, 도구를 선택할 당시의 판단 기준까지 포함되어 있습니다.
본 시리즈는 저자가 개인적인 시간 동안 구축하고 운영하고 있는 AI 에이전트 그룹의 운영 기록입니다. 기재된 수치(정기 처리의 본수·횟수·시간 등)는 모두 저자의 환경의 실제 측정한 로그에서 나온 것으로, 다른 환경에서 동일한 결과가 나타날 것을 보장하지 않습니다. 근무지의 업무 및 시스템과는 전혀 관련이 없으며, 특정 제품이나 서비스의 추천, 또는 수익을 보장하는 내용은 포함되어 있지 않습니다.
출처: note 원문
번역: Gemma 3(.44) 초벌 + 교정 29청크
원문 보기 | 출처: note.com