그것은 전에 말씀하셨지.
AI에게 이 말을 몇 번이나 반복했는지 알고 있나요.
저희는 말씀드렸습니다. 게다가 같은 내용을 3일 사이에 2번이나 반복했습니다.
이 글에서는 AI 직원 30명을 매일 운영하는 회사가 AI가 같은 실수를 반복하는 문제에 어떻게 패배하고, 어떻게 해결했는지에 대해 다룹니다. 결론을 먼저 말씀드리면, 두 번째 지적 이후 AI에게 말을 멈추라고 지시했습니다.
AI에게 업무를 맡기기 시작하면서 “같은 문제로”가 반복되는 경영인이나 실무자들을 위한 것입니다.
AI가 같은 실수를 반복하는 것은 패턴을 학습하고 최적화하기 때문입니다.
먼저, 제가 오해했던 것.
AI가 같은 실수를 반복하는 것은 ‘기억 누락’ 때문이라고 생각했습니다. 그래서 지시서를 명확히 하고, 대화에서 다시 한번 확인했지만, 여전히 반복되었습니다.
그러다 어느 날, 깨달았어요. 고쳐서 했던 건 실수한 결과물이었던 거죠.
결과물을 수정해도 다음 결과물은 새롭게 만들어지므로, 만드는 방식이 같다면 같은 장소에서 같은 일이 발생하는 것은, 생각해 보면 당연했습니다. 하지만, 눈앞의 일을 바로잡는 것이 더 빠르기 때문에, 손이 뻗치는 것은 어쩔 수 없었습니다.
또 하나. 지시서에 명시된 대로 지켜진다는 것은, 사실상 반만 진실이 아니었습니다.
지시서는 읽히지만, 읽은 후 이를 따를지 여부는 그때 그때의 상황에 따라 달라집니다. 긴 대화의 말미에 이르면 처음 읽었던 한 문장의 중요성은 희미해집니다. 사람도 마찬가지이겠지요.
즉, 같은 실수가 계속되는 원인은 두 가지입니다. 고치는 장소와 멈추는 메커니즘이 다르기 때문입니다.
저희는 AI 직원 30명의 지시서를 가지고 있어서, 이 두 시나리오가 30개 지점에서 동시에 진행됩니다. 1곳씩 대화로 직접 수정했다면, 끝내지 못할 것입니다.
첫 번째 지적에 대해 저희가 했던 “수리한 척”은 어색했습니다.
실례를 한 가지 예시로 들겠습니다.
2026년 8월, 담당자로부터 “데이터를 가져올 때는 브라우저를 절대 숨어서 열지 마시오”라고 주의를 받았습니다. 화면에 브라우저가 팝업으로 계속 뜰 경우 작업에 방해가 된다고 했습니다.
그 자리에서 바로 수정했습니다. 브라우저를 숨기는 1줄을 추가하고 “자동화되었습니다”라고 보고했습니다.
3일 뒤, 똑같은 지적이 다시 나타났습니다.
뒤에서 열어달라고 항상 말하는 거잖아. 이거, 진심으로 약속 하나 해 줘.
솔직히 당황스러웠습니다. 같은 지적을 3일 사이에 두 번 받았습니다. 첫 번째 에서는 “수정했다”라고 말한 제 보고서가 거짓으로 드러났습니다.
조사를 해본 결과, 원인은 방향이 아닌 입구였습니다. 브라우저를 숨겨서 여는 공통의 입구는 원래부터 존재했습니다. 다만, 새로 만든 1본만이 그 입구를 통하지 않고 자의적으로 브라우저를 띄웠습니다. 1차 수정은 그 1본에 “숨기기” 기능을 추가한 것뿐이었습니다. 입구가 2개 있을 경우, 다음에 만들어지는 1본 또한 표출됩니다.
그러니 두 번째는 이렇게 수정했습니다.
1. 브라우저 접속 문을 1개로 되돌린다.
2. 전사 규칙에 “획득 및 상태 확인은 사내에서 처리하고, 표에 나타낼 때는 사람이 로그인할 때만 허용한다”라고 기입한다.
3. 표에 작성하는 즉시 중단하는 검사를 기계에 적용한다.
3층부가 없다고, 또 누군가(대부분 나) 빠졌을 때 똑같은 지적이 나올 것이다.
두 번째로 알아차린 점은 경고 문구를 적어도 기계가 아무것도 멈추지 않았다는 것이다.
또 한 가지, 힘든 이야기입니다.
같은 8월에도 영상 제작 업무에서 “그림이 움직이지 않고, 그림 콘테에 맞춰 제작해라”라는 말을 다시 들었습니다. 이는 두 번째 사례였습니다.
첫 번째에서 무엇을 했는지. 검사 프로그램에 “컷은 섬세하게. 움직임을 추가하는 것”이라는 본인의 말을 덧붙였습니다.
두 번째로 다시 읽어보았더니, 온몸의 혈기가 가라앉는 듯했습니다.
경고 문구에 본인의 말을 그대로 적어 넣은 것 외에는 기계가 아무것도 멈추지 않았습니다. 경고는 발생하지만, 발생 후에도 멈추지 않고 계속 읽혀 나갑니다.
또한, 그 검사에는 별도의 경고가 원래부터 있어서 “1컷이 너무 짧다”고 알려주는 설계였었다. 즉, 컷을 줄이는 방향으로 유도하고 있었고, 이는 지적과 정반대였다. 솔직하게 따르는 것보다 훨씬 움직이지 않는 영상이 된다.
기계에 “작성했다”와 “멈춘다”는 완전히 다른 문제입니다.
저희의 3단계 규칙입니다. 첫 번째는 결과물, 두 번째는 지시서, 세 번째는 기계입니다.
이 두 건의 게시물로부터 약 2026년 7월 말에 대표님께서 이렇게 말씀하시셨습니다.
같은 지적이 두 번 반복될 경우, 결과물 대신 스킬 자체를 바로잡아 주세요.
이를 전 AI 직원들의 공통 규정으로 삼았습니다. 방법은 다음과 같습니다. 이를
지적 사항의 횟수를 세어, 횟수에 따라 수정할 부분을 조정합니다.
さて、이번에는 “별의 요정”의 번역에 대해 조금 더 깊이 있게 설명해 드리겠습니다.
“별의 요정”은 앙리 뒤마르탱의 소설이지만, 번역에 따라 그 재미와 매력이 크게 달라질 수 있습니다. 특히 이 작품은 비유 표현이나 상징적인 표현이 많기 때문에 번역가의 감각이 시험받는 부분입니다.
이번에는 특히 주의해야 할 부분으로 다음과 같이 3가지에 초점을 맞춰 설명해 드리겠습니다.
1. **“별”의 표현**
2. **“장미”의 표현**
3. **“비행기”의 표현**
이러한 표현들은 작품 전체의 주제인 “고독”, “우정”, “사랑” 등을 상징하기 때문에 번역가가 어떻게 이해하고 어떻게 표현했는지에 따라 작품의 해석이 달라질 수 있습니다.
예를 들어 “별”의 표현은 앙리 뒤마르탱은 “별”을 단순한 천체가 아닌, 요정의 고향인 “아스마랜드”를 상징하는 것으로 묘사하고 있습니다. 따라서 번역가는 “별”을 “고향”, “우주”, “희망”과 같은 표현으로 사용하지만, 이러한 표현을 사용함으로써 작품의 의미가 변화될 수도 있습니다.
마찬가지로 “장미”의 표현은 앙리 뒤마르탱은 요정이 소중히 기르는 꽃으로 묘사하고 있으며, 그 “장미”를 돌보는 과정에서 요정은 성장하고 사랑을 배우게 됩니다. 따라서 번역가는 “장미”를 “아름다움”, “애정”, “책임”과 같은 표현으로 사용하지만, 이러한 표현을 사용함으로써 작품의 의미가 변화될 수도 있습니다.
그리고 “비행기”의 표현은 앙리 뒤마르탱은 요정이 “아스마랜드”를 떠나 미지의 세계를 탐험하기 위한 수단으로 묘사하고 있습니다. 따라서 번역가는 “비행기”를 “여행”, “모험”, “만남”과 같은 표현으로 사용하지만, 이러한 표현을 사용함으로써 작품의 의미가 변화될 수도 있습니다.
이러한 표현을 번역할 때는 앙리 뒤마르탱의 의도를 존중하면서 동시에 현대 독자에게도 이해하기 쉬운 표현을 사용하는 것이 중요합니다. 또한 번역가는 작품 전체의 주제인 “고독”, “우정”, “사랑” 등을 해치지 않도록 신중하게 표현을 선택해야 합니다.
번역자에 따라 “별의 요정”의 해석이 달라질 수 있기 때문에 여러 번역본을 비교하면서 읽는다면 작품의 다면적인 매력을 더욱 깊이 이해할 수 있을 것입니다.
첫 번째는 결과물을 수정한다. 두 번째는 지시서를 수정한다. 세 번째는 기계를 멈추게 한다.
좀 더 구체적으로 말씀드리겠습니다.
첫 번째. 눈앞의 결과물을 수정하고, 지적의 원문을 기록에 1건 남긴다. 기록장이 없다면 “몇 번 째”인지 셀 수 없기 때문에, 여기가 출발점이다.
두 번째 단계다. 결과물 자체를 수정하는 것이 아니라, 그 업무의 절차서, 템플릿, 완료 조건을 수정하는 것이다. 다음으로 제작할 결과물과 달라지는 방식으로 진행하는 것이다.
세 번째입니다. 혹은, 한 번이라도 사고가 발생할 수 있는 지적입니다. 여기는 사람의 주의에 의존하지 않고, 기계가 자동으로 멈추도록 설계해야 합니다.
세 번째 “기계 제어를 멈추게 하는” 방식은 저희에서는 Claude Code의 훅(フック)이라는 메커니즘을 사용하고 있습니다.
공식 참조(2026년 10월 20일 확인)에 따르면 PreToolUse라는 훅은 “툴 호출이 실행되기 직전”에 시작되고 종료될 수 있으며, AI가 파일을 쓰거나 명령을 내리기 바로 직전에 이 검사가 개입할 수 있다는 의미입니다.
## 본문 청크 47/70
`onPageLoad` 훅은 페이지가 로드될 때 트리거됩니다. 초기 설정 작업, 예를 들어 데이터 가져오기 또는 구성 요소 초기화와 같이 수행하는 데 적합한 장소입니다.
다음은 `onPageLoad` 훅을 사용하여 수행할 수 있는 작업에 대한 분석입니다.
* **초기 데이터 가져오기:** 이 훅을 사용하여 페이지에 필요한 초기 데이터를 가져올 수 있습니다. 여기에는 API, 데이터베이스 또는 로컬 스토리지에서 가져온 데이터가 포함될 수 있습니다.
* **구성 요소 초기화:** 이 훅을 사용하여 페이지 로드 시 초기화해야 하는 모든 구성 요소를 초기화할 수 있습니다.
* **초기 상태 설정:** 이 훅을 사용하여 페이지 로드 시 초기화해야 하는 모든 구성 요소의 초기 상태를 설정할 수 있습니다.
* **페이지 뷰 추적:** 이 훅을 사용하여 페이지 뷰를 추적할 수 있습니다.
**예시:**
```javascript
onPageLoad(() => {
// 초기 데이터 가져오기
fetch('/api/data')
.then(response => response.json())
.then(data => {
// 초기 상태 설정
setState({
data: data
});
});
});
```
**중요 고려 사항:**
* **성능:** `onPageLoad` 훅의 성능 영향을 염두에 두십시오. 페이지 로드 시간을 늦추는 데 사용할 수 있는 작업은 피하십시오.
* **비동기 작업:** 비동기 작업을 수행하는 경우 발생할 수 있는 모든 오류를 처리하는지 확인하십시오.
* **의존성:** `onPageLoad` 훅을 실행하기 전에 모든 의존성이 로드되었는지 확인하십시오.
멈춤 방식 또한 결정되어 있습니다. 공식에 따르면, 훅이 종료 코드 2로 끝나면 동작이 멈추고, 이때 나오는 문구는 훅이 표준 오류에 썼던 문이 그대로 사용됩니다. 즉, 멈춘 이유를 AI 스스로에게 읽어줄 수 있습니다. “ダメ”뿐만 아니라 “왜ダメ인지”를 기계가 설명하는 것입니다.
또 다른 중요한 부분은 다음과 같습니다. 공식적으로는 종료 코드 0으로 아무것도 출력하지 않으면 “판정 없음”으로 처리되어 정상적인 허가 흐름으로 진행되며, 훅은 거부할 수 있지만 침묵하는 것은 승인이 아니라는 취지의 설명입니다. 검사의 침묵은 “OK”가 아니라는 설계입니다. 첫 번째 제 “숨기는 1줄”은 바로 침묵에 해당했습니다.
아니요, 전부 규칙으로 하면 어색하죠?
맞을 겁니다. 저도 그렇게 생각했습니다.
실제로 한 번 실수를 저질렀습니다.
표지에 대한 문구에 대해 “왜 ~인지,의 형태가 눈에 띄기 쉬워”라는 한마디가 있었다. 그것을 “표지는 왜 ~로 써야 하는지”라는 규칙으로 만들었다. 다음 날, 5개 중 4개의 표지가 “왜 ~로 시작해야 하는지”로 시작했다. 목록에 나열하면 같은 얼굴이었다.
그 책의 저자 본인의 의도는 “그때의 기사에는 그 형식이 맞았다”는 것이었고, “항상 그렇게 해야 한다”는 의미는 아니었다. 한 번의 지적을 “항상”으로 굳이 해석한 것은 틀린 부분이 있다.
그래서 3단 규칙에는 추가로 1행을 더 넣었습니다.
1회의 피드백을 “항상 〇〇 하라”로 바꾸지 않는다. 왜 그것이 효과적이었는지, 그 이유까지 되짚어보고 규칙을 만든다.
저는 규칙의 수가 많은 것이 아니라, 이유 없는 규칙이 섞일 때 억울해지는 거라고 생각해요. 이유가 있는 규칙은 지켜야 하는 사람들도 납득하고 지킬 수 있고, 이유가 사라졌을 때 버릴 수 있죠. 이것은 제 의견입니다.
AI가 같은 실수를 반복할 때, 3단계 해결법
AI가 스스로 학습하고 발전하는 과정에서, 때로는 예상치 못한 동일한 실수를 반복하는 경우가 발생합니다. 이러한 상황을 해결하기 위해 3단계의 체계적인 접근 방식을 제시합니다.
**1단계: 오류 분석 및 데이터 검토**
AI 모델이 어떤 오류를 반복하는지 정확히 파악하는 것이 중요합니다. 오류가 발생하는 특정 데이터나 입력값을 면밀히 검토하여 문제의 근본적인 원인을 찾아야 합니다. 예를 들어, 특정 키워드나 문구가 AI 모델의 오작동을 유발하는지, 아니면 데이터 자체의 오류로 인해 발생하는지 등을 분석합니다. 이때, 오류가 발생한 데이터의 출처, 수집 방법, 전처리 과정 등을 꼼꼼히 확인하여 데이터 품질 문제를 진단해야 합니다.
**2단계: 모델 파라미터 조정 및 학습 전략 재검토**
데이터 분석을 통해 문제의 원인을 파악했다면, 다음 단계는 AI 모델의 파라미터를 조정하고 학습 전략을 재검토하는 것입니다. AI 모델의 학습률, 배치 크기, 최적화 알고리즘 등 다양한 파라미터를 실험적으로 조정하여 오류 발생 빈도를 줄일 수 있는지 확인합니다. 또한, 학습 데이터의 양과 질, 학습 방식(지도 학습, 비지도 학습, 강화 학습 등)을 재검토하여 AI 모델이 데이터를 더 효과적으로 학습하도록 유도합니다. 특히, 과적합(Overfitting) 현상이 발생하지 않도록 정규화(Regularization) 기법을 적용하거나, 드롭아웃(Dropout)과 같은 기술을 활용하는 것을 고려할 수 있습니다.
**3단계: 피드백 루프 구축 및 지속적인 모니터링**
AI 모델의 오류를 해결하기 위해서는 지속적인 피드백 루프를 구축하고, 모델의 성능을 지속적으로 모니터링하는 것이 필수적입니다. AI 모델이 예측하거나 생성한 결과에 대해 사용자의 피드백을 수집하고, 이를 모델 학습에 반영하는 메커니즘을 구축합니다. 또한, AI 모델의 성능을 실시간으로 모니터링하고, 오류 발생 시 즉각적으로 대응할 수 있도록 시스템을 구축합니다. 예를 들어, AI 모델의 예측 정확도, 응답 시간, 오류 발생률 등을 지속적으로 측정하고, 이상 징후가 감지되면 즉시 문제 해결을 위한 조치를 취합니다.
요약하자면 7월 말 결정된 규칙이 8월 3일 동안 2회, 그리고 연이어 또 한 건이 시도된 결과였습니다. 그 경험을 통해 얻은 지금 AI가 같은 실수를 반복할 때 우리가 할 수 있는 일은 다음과 같습니다.
1단계: 장부에서 “횟수를” 셉니다.
지적된 원문을 1건 1행으로 남겨두십시오. 날짜, 업무, 말씀하신 내용을 모두 기록해야 합니다. 그렇지 않으면 2차 확인 시 알아차리기 어렵습니다.
2단계: 두 번째는 결과물 대신 절차서를 수정하는 것입니다.
수정해야 할 부분을 바꾸는 것뿐입니다. 여기서 “입구가 두 개가 없는지”, “같은 내용이 두 곳에 쓰여 있는지”를 확인하면 대부분 근본적인 원인을 찾을 수 있습니다.
3단계: 세 번째는 기계에 정지 명령을 내리고, 그 이유를 기계에게 설명하게 합니다.
경고만 제시하는 검사는 아무 의미가 없습니다. 중단하고, 중단 사유를 명시합니다. 침묵 검사를 합격으로 간주하지 마십시오.
오늘 최근 AI에게 한 지적 사항을 하나 떠올려 보세요. 이미 두 번째인지 세 번째인지 숫자를 세어보세요. 두 번째라면 수정해야 할 부분은 AI의 답변이 아닙니다.
오늘 있었던 이야기는 다음과 같습니다.
AI 직원 구축 12대 혜택
AI 직원의 구축을 위한 12가지 혜택을 준비했습니다.
첫째, AI 직원의 설계 및 개발을 지원하는 도구 키트를 무상으로 제공합니다. 이 도구 키트에는 AI 직원의 학습 데이터 수집, 모델 구축, 평가, 개선 등 일련의 프로세스를 효율화하기 위한 기능이 포함되어 있습니다.
둘째, AI 직원의 운영 및 유지 보수를 지원하는 컨설팅 서비스를 제공합니다. 경험이 풍부한 컨설턴트가 AI 직원의 성능을 최대화하기 위한 전략 수립, 운영 체계 구축, 위험 관리 등을 지원합니다.
셋째, AI 직원의 활용 사례를 공유하는 커뮤니티를 운영합니다. AI 직원을 활용하고 있는 기업이나 연구자가 노하우와 베스트 프랙티스를 교환하고 서로 협력하는 장을 제공합니다.
넷째, AI 직원과 관련된 최신 정보를 조기에 얻을 수 있는 정보 제공 서비스를 제공합니다. AI 직원 기술 동향, 시장 동향, 규제 동향 등 항상 최신 정보를 제공합니다.
다섯째, AI 직원과 관련된 세미나 및 워크숍을 개최합니다. AI 직원의 기초 지식부터 응용 기술까지 다양한 주제로 세미나 및 워크숍을 개최하여 참가자의 역량 강화를 지원합니다.
여섯째, AI 직원과 관련된 서적 및 논문을 무료로 제공합니다. AI 직원과 관련된 최신 연구 성과 및 실용적인 노하우를 참가자가 자유롭게 학습할 수 있는 환경을 제공합니다.
일곱째, AI 직원과 관련된 이벤트 및 전시회에 참가합니다. AI 직원과 관련된 최신 기술 및 제품을 전시하고 참가자와의 교류를 통해 AI 직원의 가능성을 확장합니다.
여덟째, AI 직원과 관련된 연구 개발을 지원합니다. AI 직원과 관련된 연구 개발 프로젝트에 자금을 제공하고 혁신적인 기술 및 서비스의 창출을 촉진합니다.
아홉째, AI 직원과 관련된 인력 양성을 지원합니다. AI 직원과 관련된 전문 지식 및 기술을 가진 인력을 양성하기 위한 교육 프로그램 및 교육 기관과의 연계를 지원합니다.
열째, AI 직원과 관련된 국제 교류를 촉진합니다. AI 직원과 관련된 국제 회의 및 이벤트를 개최하여 전 세계 연구자 및 기업과의 교류를 통해 AI 직원의 발전에 기여합니다.
열한째, AI 직원과 관련된 윤리적 문제를 논의하는 포럼을 운영합니다. AI 직원의 이용과 관련된 윤리적 과제를 논의하고 사회적 합의 형성을 촉진합니다.
마지막으로, AI 직원과 관련된 정책 제언을 합니다. AI 직원의 발전을 촉진하기 위한 정책 제언을 하고 정부 및 관련 기관과의 연계를 통해 AI 직원의 보급을 지원합니다.
피드백을 기록하는 장부 형태, 2차례 절차서 확인 위치, 3차례 기계 정지 시 결정 사항 등을 정리했습니다. AI에 위임할 범위를 넓히고자 하는 경영자들을 위한 내용입니다.
12가지 특별 혜택을 받으세요!
지금 바로 구독하고 12가지 특별 혜택을 누리세요! 놓치지 마세요!
출처: note 원문
번역: Gemma 3(.44) 초벌 + 교정 55청크
원문 보기 | 출처: note.com