저는 엔지니어링 분야가 아닌, 평범한 회사원입니다. 코드를 작성할 수 없습니다.
그런 인간이 클로드 코드(Claude Code)로 만든 AI 팀에 부업과 생활을 맡기고 있습니다. 집에서 AI 직원(社員)을 고용하고 있는 듯한 느낌입니다.
우리 회의 AI 직원 47명입니다. 기사를 쓰는 담당이 있고, 검토하는 담당이 있으며, 작성된 내용은 공개 전에 다른 담당자가 확인합니다. 이중 검토 체제를 제대로 구축했습니다.
그럼에도 불구하고 지난달, 그 검사를 끝까지 통과했던 기사에 근거 없는 ‘단언’이 섞여 있었습니다. 작성 본인도, 검토 담당자도, 아무도 알아채지 못했습니다.
발견한 것은 우리 회사의 직원으로서는 아닙니다. 다른 회사의 AI입니다.
사건: 체크를 통과했음에도 불구하고 틀렸었다
지난달, 우리 블로그 팀이 상품 소개 기사를 완성했습니다. 한 상품을 ‘함께 사용하는 스테디셀러 액세서리’로 소개하는 내용입니다.
담당 직원이 작성했고, 다른 담당원이 확인하여 문제 없습니다. 평소와 같은 흐름이었습니다.
그런데. 그 액세서리의 상품명에는 대상과 다른 시리즈 전용이라는 문구가 명시되어 있었습니다. 즉, 소개한 상품에 맞다는 근거 없이 “베스트셀러”라고 주장하고 있었죠.
이 문구를 발견한 것은 재미로 그 검토 목록에 추가해 본 다른 회사의 AI였습니다. 작성 담당자와 검토 담당자 모두 그냥 지나쳤을 문장을 한 방에 지적해 왔습니다.
솔직히 소름이 돋았습니다. 체제가 있었다는 사실, 모든 사람이 진지하게 일했고, 그럼에도 불구하고 통과했다는 사실 자체가 더 무서웠습니다.
원인: 내부 구성원들은 “마찬가지의 실수를” 반복한다.
체크 역할을 늘려도 잡히지 않은 이유는 여기에 있다고 생각합니다.
우리 회의 AI 직원들은 모두 같은 회사에서, 같은 종류의 신경망을 사용하고 있습니다.
같은 교재로 자란 학생들은 같은 문제를 같은 방식으로 틀릴 가능성이 높다. 재능이나 약점, 고정관념의 습관까지 비슷하게 나타난다. 그래서 첫 번째 사람이 놓친 것은 두 번째 사람, 세 번째 사람도 같은 이유로 놓칠 수 있다. 실제로 이 문제에서도 작성 담당자와 다른 검토 담당자가 같은 문장을 그냥 지나쳤다. 검토 담당자를 10명으로 늘려도 비슷한 눈이 10개나 겹쳐 보일 뿐일지도 모른다.
사람 회사의 것과 똑같다고 생각했습니다. 내부 검토가 소홀해지는 것은 단순히 손을 덜 쓴 것이 아니었습니다. 시점이 같기 때문입니다. 그래서 회사는 오히려 외부의 감사를 위해 감사인을 임명합니다.
결정 사항: 외부에서 ‘자문’을 고용한다
그럼에도 불구하고, 인간의 회사 지혜를 그대로 빌렸습니다.
다른 회사의 AI를 자문위원으로 초빙한다. 우리 경우에는 ChatGPT를 제공하는 OpenAI사의 “Codex”라는 AI 에이전트이다.
채용 이유는 똑똑함 비교가 아니기 때문입니다. 저희의 Claude 직원들과는 성장 배경이 달라서, 오해하는 습관도 다릅니다. “실패하는 방식이 다른 사람”인 것을 말입니다. 그것이 자문위원의 유일하고 가장 중요한 채용 조건입니다.
현재 손으로 직접 쓴 글은 공개 전에 반드시 이 자문위원의 검토를 통과하는 것이 저희의 규칙입니다.
―――――――――――■ 顧問が実際に捕まえたもの―――――――――――
導入してから約3週間。顧問はすでに、身内が素通りしたものを何度も捕まえています。
첫째, 액세서리 부분에 대해 말씀드리자면. 상품명을 읽어보면 알 수 있는 것을 내부 검수 과정에서 간과하고 있었습니다.
두 번째, 이 시리즈의 바로 전 글입니다. 공개 전에 자문위원에게 보여드린 결과, 중요한 지적이 5건, 세부적인 것이 3건 돌아왔습니다. 쓴 사건의 날짜가 일치하지 않는 부분이 있었고, 예외를 설명하면서 오히려 주장하고 있었습니다. “청천”이라는 부정확한 표현을 모두 수정했습니다. 모든 것을 수정하고 나서 공개했습니다. 그 글은 자문위원의 검수를 통과한 후의 모습입니다.
3. 취미 관련 해설 기사 2건. 공식 명칭 및 사양의 오류가 총 3건 발생했습니다. 작성 담당자와 검토 담당 모두 “공식 확인을 했다고 생각하며” 무심하게 지나쳤습니다. 게다가 이 두 기사는 주장하는 사실이 다소 부족해 보이는 형식을 가지고 있었습니다. “이 기사는 괜찮겠다고” 판단하는 선별 과정을 제가 직접 할 수는 없습니다. 이후부터 손을 댈 기사는 전액 검토를 의무화했습니다.
―――――――――――■ 【配布】社外AI顧問との付き合い方・4か条―――――――――――
저희에서 사용하는 운영 규칙을 그대로 두고 있습니다. 다른 AI에게 검토를 요청하시고 싶으신 분은 다음 4가지부터 시작해 보세요.
1. 사실만을 확인 대상으로 합니다. 문체는 변경하지 않겠습니다.
상담사에게 부탁하는 것은 사실의 검토일 뿐입니다. 날짜, 숫자, 명칭, 명확한 근거만을 요청하며, 문체나 구성은 대상에서 제외된다고 매번 명시합니다. 매일 함께 일하는 가족보다 고용주의 선호도를 더 잘 알고 있기 때문입니다. 범위를 나누지 않으면, 고치지 않아도 될 부분까지 다 수정하기 시작합니다.
2번: 권한을 양도하지 마세요. “단순히 읽기만”으로 들어오도록 허용하지 마십시오.
자문위원은 단순한 외부 인물입니다. 저희 내부를 직접 수정할 권한은 부여하지 않으며, 읽기 전용으로 입장을 허락받고 지적 사항은 보고서를 통해 받습니다. 수정하는 것은 내부 담당자들이 수행합니다. AI에 전달할 것과 전달하지 않을 것의 경계는 이전 “절대로 건드리지 말아야 할 것을 결정한 이야기”에 기록되어 있습니다. 외부 AI의 경우에는 더욱 그렇습니다.
3번: 제기되는 문제에 대해서는 반드시 근거를 제시받겠습니다.
여기(부분)가 수상하다는 것만으로는 상황을 파악할 수 없습니다. “상품명에 다른 시리즈 전용이라고 명시되어 있다”와 같이, 그 주장이 왜 타당한지까지 설명해 달라고 요청해야 합니다. 근거 없는 지적은 검토가 아닌 단순한 의견일 뿐입니다.
4번: 스승의 말도 맹신하지 마라
다른 법인에서 사용하는 AI도 AI는 실수를 할 수 있습니다. 제기된 모든 지적 사항은 일단 모두 받아들이고, 채택하기 전에 스스로 검증합니다. 수정할지 여부의 최종 결정은 고용주 측의 인간이 내립니다. 자문위원 몇 명이 늘어나더라도 이 곳만은 물러서지 않습니다.
이 4가지 항목으로 진행하겠습니다. 실제로 사용 중인 요청 템플릿 유형(대상 범위의 구분 방식 및 보고서 형식)도 필요하시면 댓글로 문의해 주세요.
문제가 있는 부분이 있습니다.
막힘 1: 완료 후 확인 시 수정 사항이 발생할 수 있습니다.
이번 달에는 뒷감시원 시스템을 하나 만들고 나서 사감 선생님께 보여드린 결과, 지적 사항이 4건 중 3건이 수정 사항으로 이어졌다. 특히 안타까운 점은, 모든 지적이 완성되기 전 설계 메모 단계에서 바로 전달할 수 있었던 것들이었다는 것이다. 이후, 규모가 큰 변경 사항은 “설계를 글로 작성한 단계”에서 먼저 사감 선생님께 보여드리는 방식으로 진행하고 있다. 에세이 한 장을 보여드리는 것만으로도 불필요한 수정 작업이 크게 줄어든다.
머물림 2: 보고서는 끝까지 읽는다.
어처구니없는 실수를 하나. 담임 선생님의 보고서에서 끝부분만 뽑아서 앞부분을 버린 일이 있었습니다. 중요한 지적은 앞부분에 있었고, 다시 읽고 수정하는 데 15분의 시간 낭비가 되었습니다. 이후로는 보고서 전체를 보존하고 처음부터 읽기로 결심했습니다. 고용주인 제가 인간의 신인처럼 저지르는 실수를 저 스스로 저질렀습니다.
얽힘 3: 조력자는 “두 번째 에이스”가 아닙니다.
컨설턴트를 활용하면 결국 모든 것을 물어보고 싶어지곤 합니다. 하지만 역할은 단순히 검토하는 것뿐입니다. 기획이나 글까지 컨설턴트에게 의존하기 시작하면 친한 사람의 장점(취향을 잘 아는 것, 말이 빠름)이 사라집니다. 주치의는 친한 사람, 컨설턴트는 제2의 의견입니다. 이 거리감이 가장 효과적입니다.
―――――――――――■ 가져가시면 좋을 3가지 ―――――――――――
1. **夏帆**의 마지막 장면은 마치 꿈결처럼 느껴질 것이다. 그녀가 겪는 모든 일들이, 그녀의 삶이, 결국에는 텅 빈 공간으로 돌아가 버리는 듯한 느낌을 준다. 마치 텅 빈 컵에 뜨거운 커피를 붓는 것처럼, 그녀의 기억 속에서 모든 것이 사라져 버리는 것이다.
2. **무라카미 하루키**는 **夏帆**의 이야기를 통해, 현대 사회에서 소외된 사람들의 고독과 불안을 섬세하게 그려냈다. 그는 **夏帆**라는 한 여성의 시선을 통해, 우리 사회의 어두운 면을 드러내고, 그 속에서 희망을 찾으려는 노력을 보여준다.
3. **夏帆**의 이야기는 단순한 로맨스 소설이 아니다. 그것은 현대 사회의 문제점을 날카롭게 지적하고, 인간 존재의 의미를 되묻는 철학적인 질문을 던지는 작품이다. 독자들은 **夏帆**의 삶을 통해 자신들의 삶을 돌아보고, 진정한 행복이 무엇인지 고민해 보게 될 것이다.
AI의 체크역은 머릿수보다 “자란 배경의 차이”다. 같은 시스템의 AI는 같은 이유로 과소평가되기 쉽고, 자문관에게 의존하는 것은 사실의 검토일 뿐이다. 수정 권한은 주지 않고, 지적에는 근거가 있어야 하며, 채용 전에 사전 검토 및 설계 검토는 결과가 나오기 전에는 늦다. 만들기에 앞서 보여주어야 한다.
AI의 실수를 AI에 찾아 맡기는 것은 한편으로는 교활한 방법처럼 보일 수 있습니다. 하지만 인간의 회사가 수백 년 동안 해왔던 ‘바깥의 시각을 더듬는’ 관행을, AI 회사가 그저 반복하고 있을 뿐입니다.
여러분은 AI의 출력을 누구에게(혹은 무엇에게) 검토시키고 계신가요? “다른 AI에게 읽어보라고 하니까 이렇게 바뀌었다”는 이야기를 들으시면 댓글로 알려주세요.
――――――――――▼ 함께 읽어보기
이 노트는 비엔지니어 직원이 AI 팀에 부업과 삶을 완전히 맡겨놓은 실제 사례입니다. 업데이트 알림은 팔로우 및 Discord에서 받을 수 있습니다.
AI가 만들고, 인간이 결정했다.
출처: note 원문
번역: Gemma 3(.44) 초벌 + 교정 33청크
원문 보기 | 출처: note.com