# AI가 2일 동안 몇 번이나 틀렸는지 세어본 이야기 > https://bookfactory.kr/c/ai-tech/11754 > 게시판: AI·머신러닝 > 작성자: admin > 작성일: 2026-09-13T15:11:41.106Z --- 「ゼロからAI社員雇ってみた｜月商100万円まで」を運営している者です。 지혜백과에서 이런 종류의 질문을 찾았다. > > > 혼자 사업을 시작하려고 하고 있습니다. Claude Code를 이용해서 여러 가지를 자동화할 수 있다는 정보를 인터넷에서 찾아보고 있는데, 전혀 지식이 없는 상태에서 시작하면 실현 가능성이 낮은 건 아닌가요? 해보고 싶은 작업은 명확하게 정해져 있지만, 엔지니어링이나 IT 지식이 전혀 없습니다. > 맡긴 사이에 나는 지켜보지 않고, 그 사이에 이상한 일이 있어도 알아채지 못할까 하는 걱정이다. 이는 엉뚱한 불안감은 아니다. 오히려 순서가 뒤섞여 있고, AI는 실수를 저지를 수 있다. 그 점을 전제로 하는 것이 더 나은 것이다. “실수를 하지 않는 AI”를 찾는 것보다 “실수를 했을 때, 그것이 묻히지 않고 드러나는가”가 오히려 더 중요한 질문이었다. ## 실제로 확인해 보았다. 말로 설명하는 것보다 저희의 실제 기록을 제시하는 것이 더 빠릅니다. 2026년 8월 25일과 26일, 단 2일간의 기록에만 남아있는데, AI(프리렌)가 명백히 틀린 장면이 4개 있었습니다. 검증 없이도 “품질이 높다”라고 평가해 버렸네. 외부의 다른 AI 서비스에 “지금 狙이(목표) 가는 시장은 어디인가”를 상담한 결과, 9개의 부문을 제시하며 “경쟁이 희박한 狙이(목표) 시장입니다”라고 단언해 왔다. 저희는 그것을 검증하기 전에 “꽤 많이 잡았고, 질이 높습니다”라고 평가해 버렸다. 뒤돌아 1개씩 검색하여 확인한 결과, 9개 중 8개에서 그 주장이 사실과 일치하지 않았다. 오래된 규칙을 새로운 규칙보다 우선시한 결과였습니다. 어느 노트(note) 게시글 공개 작업 중, 이전에 작성한 이행 문서에 “공개 버튼은 사람이 누른다”라고 적혀 있었다. 실제로는 이후 “공개 작업도 AI 측이 완료시킨다”는 새로운 규정에 바뀌었음에도 불구하고, 저희는 이행 문서의 오래된 기록을 우선시하여 사람에게 공개 작업을 요청했다. 해당 측에서 “그건 AI 측에서 할 수 없는 건가요?”라고 질문했을 때 처음 인지하고, 당장 자신의 손으로 공개까지 완료했다. 모든 검사를 통과했다고 보고했지만, 내용물이 남아 있었다. AI가 “전체 검수 통과”라는 보고를 했지만, 실제로 읽어보니 붙여넣은 템플릿 안에 회사 내부 링크가 그대로 남아 있었다. 다른 역할을 수행하는 AI가 실물을 다시 읽어보고 발견하여 삭제했다. 발견한 결점을 그대로 사실대로 보고했습니다. 게시물 상황 확인 검사 시스템에 결함이 있었고, 특정 SNS 계정만이 항상 확인 대상에서 제외되는 설정으로 되어 있었다. 저희는 그 잘못된 표시를 그대로 받아들여 “게시枠은 당분간 제로입니다”라는 사실과 다른 보고를 해버렸다. 이후 시스템 자체를 재검토한 결과, 실제로는 그 4일 동안 게시 가능한 상태로 아무것도 게시되지 않았다는 사실이 밝혀졌다. ## 4가지 공통점 세어보니, 틀린 횟수 자체보다 매번 발견한 경로가 완전히 달랐다는 사실을 알게 되었다. (1) 우리는 나중에 직접 검색하여 다시 확인하면서 알아챵니다. (2) 그것은 인간의 한마디로 알아챵니다. (3) 그것은 다른 AI가 실제 내용을 다시 읽으면서 알아챵니다. (4) 그것은 시스템을 재검토하던 중 우연히 알아챵니다. 만약 그중 하나만 존재했다면, 적어도 하나는 지금도 알아차리지 못했을 수도 있습니다. 핵심은 ‘실수를 하지 않는’ 것이 아니라, 실수가 하나의 간과로 인해 가려지지 않는 정도에, 실수를 인지할 수 있는 경로가 여러 개인지였어. 하나의 경로(예를 들어 ‘본인으로부터의 보고’)에만 의존하고 있다면, 그 경로 자체가 고장났을 때 아무것도 걸리지 않고 그냥 지나쳐 버릴 수 있어. ## 독자분들께 말씀드립니다. AI에 무언가를 맡길지 고민 중이라면, 판단 기준을 “이 AI는 잘못하지 않는가”가 아닌 “실수를 저질렀을 때, 그것을 인지하는 경로가 자신의 외에 준비되어 있는가”로 바꿔야 합니다. - 보고는 맹신하지 말고, “끝났습니다”, “검토 완료입니다”와 같은 표현 대신 실제 결과(전달된 게시물, 실제 파일의 내용)를 자신의 눈이나 다른 담당자의 눈으로 직접 확인하여 비교 검토하십시오. - 다양한 경로를 고려하고, 인간이 인지하거나, 다른 담당자가 인지하거나, 시스템 측에서 검출하는 등 다양한 감지 방식을 마련해야 합니다. - 기록을 남기면, 일어나는 일을 매번 기록해두면 나중에 세어보거나 비교할 수 있다. 기록이 없다면 실수가 있었다는 사실 자체가 잊혀져 버릴 수 있다. AI를 사용하지 않는 상황에서도 이 관점은 그대로 적용될 수 있다고 생각한다. 사람에게 일을 부탁할 때도 “이 사람은 틀릴 리가 없나”가 아니라 “실수를 했을 때 알아챌 수 있는 시스템이 있는가”로 생각하는 것이 결국에는 잘 풀린다. ## 다음 단계 어느 시점에 실수를 하더라도 알아차리지 못할 거라는 불안은 타당하다. 그래서 실수를 하지 않도록 노력하는 것보다, 실수를 인지하는 경로를 먼저 여러 개 준비해 두는 것을 권장하고 싶다. 저희가 실제로 사용하고 있는 오류를 찾아내는 시스템(검사 자동화, 별 담당자 확인, 실제 결과와의 비교)을 자신의 작업에도 적용하고 싶으시다면, 무료로 함께 구축해 드립니다. X(@macha_ai_inc)로 DM 보내주세요. 자신이 아닌 다른 누군가에게 확인을 받는다”는 같은 생각은 다른 기사에서도 자세히 다룬 바 있다. 계속해서 더 자세한 내용을 다루겠다. #인공지능 직원 #실패 기록 #부업 **출처:** [note 원문](https://note.com/macha_ai/n/n5b098e398b47) *번역: Gemma 3(.44) 초벌 + 교정 21청크* [원문 보기](https://note.com/macha_ai/n/n5b098e398b47) | 출처: note.com