# 클로이드 코드에 리뷰어 역할이 필요한가?

> https://bookfactory.kr/board/ai-tech/17131
> 게시판: AI·머신러닝
> 작성자: admin
> 작성일: 2026-09-17T10:45:38.004Z

---

![見出し画像](https://assets.st-note.com/production/uploads/images/311451645/rectangle_large_type_2_ad605f62f6fe6033b11f0ad582f19d64.png?width=1280)

## 똑같은 지적을 세 번 반복해야 했습니다.

이전 이야기에서 인공지능 직원에게 상하 관계를 설정했습니다. 보고할 상사를 1줄로 적기만 하면 누가 결정하는지 명확하게 알 수 있습니다.

결국, 그렇게 되었습니다. 하지만, 같은 실수를 3번 반복했습니다.

저는 상품을 소개하는 사이트를 하나 가지고 있습니다. 그곳에서 취급하는 상품을 고르는 방법에 대해 저는 이렇게 말했습니다.

카메라 장비에 너무 얽매고 있습니다. 좀 더 넓게 선택했으면 좋겠습니다.

고쳤습니다. 다음 주에도 같은 상승형 기사가 올라옵니다. 같은 말을 반복했고, 그 다음에도 반복했습니다. 벌써 세 번째입니다.

3회를 시도하는 동안, 제가 제 말투가 문제인지 생각했습니다. 문제는 제 말투가 아니었습니다.

## 누구의 검사를 통과시키지 않고 제출했던

원인은 명백합니다. 작성자가 그대로 가져온 것이기 때문입니다.

저희 회사에는 인공지능 직원 29명이 있습니다. 그 중에는 검사를 담당하는 직원도 있습니다. 그런데 그 기사를 작성한 직원부터 바로 저에게 직행해 왔습니다.

아무도 거기에 서 있지 않았습니다. 서있지 않았던 것은 나였습니다.

수정 방법은 또 한 줄이었습니다. 직원 파일 설정란에 누가 자신을 검사하는지 적습니다.

리뷰어(reviewed_by)는 자신을 평가하는 대상입니다. 반대로, 자신이 평가하는 대상을 기록하는 ‘리뷰(reviews)’도 있습니다. 이 두 가지는 서로 연관하여 작성됩니다.

현재 저 회사에서는 29명 중 25명에게 이 한 줄이 포함되어 있습니다. 누구도 검사를 받지 않는 직원들은 나머지 4명 뿐입니다.

1행을 더한 것 외에는 글이 제 앞에 1회 멈추는 현상이 발생했습니다. 멈추는 것은 귀찮습니다. 귀찮은 상황이 더 안전했었습니다.

## 대략 괜찮은 정도로는 합격에 이르지 않는다

검사관을 배치했음에도 불구하고, 처음에는 거의 대부분이 통과되었습니다. 돌아오는 말은 항상 다음과 같았습니다.

특별히 문제가 없다고 생각합니다.

이것은 있어도 안 있어도 똑같습니다. 무엇을 보고 어떤 상황에서 떨어뜨릴지 결정하지 않았었습니다.

그러므로 시험용 막대기 한 장에 흑선을 3개 적었습니다.

세 번째 방법이 통했습니다. “어쩐지 다르다”라고 말하는 것보다 효과가 없으니, 고칠 수 없는 지적은 하는 것보다 낫습니다.

또 다른 규칙을 추가했는데, 이는 종이에 적지 않은 것을 이유로 버리는 것이 아니라 검사 위가 취향대로 버리는 권한을 주면 아무것도 통과하지 못하게 된다는 규칙입니다.

저는 한 번, 통과가 안 되는 쪽을 보았습니다. 모든 것이 보류 상태로 돌아온 날이 있었습니다. 그 날에는 아무것도 제출할 수 없었습니다.

![画像](https://assets.st-note.com/img/1788825648-p5OAMBEXRwUQV30tgiuKNHdx.png?width=1200)

## 그럼에도 불구하고 같은 실패는 멈추지 않았습니다.

검사관을 배치하고 줄자를 준비했음에도 불구하고, 도입부의 세 번째 시점에 문제가 발생했습니다.

그 이유는 간단합니다. 지적된 내용이 어디에도 남아있지 않았기 때문입니다.

저는 그걸 매번 수정했습니다. 다음 주에는 같은 직원이 같은 생각으로 같은 것을 써오올 겁니다.

따라서, 직원 개개인의 학습 경험을 축적할 수 있는 공간을 마련했으며, 직원 파일과는 별도로 1인 1매로 진행했습니다.

글자 형식을 이 형태의 1행에만 유지했습니다.

규칙은 세 가지입니다. 결과물을 확인했을 때 준 것인지 판단할 수 있는 방식으로 작성해야 합니다. 출처를 반드시 기재해야 합니다. 모순되는 새로운 정보가 나타난다면, 기존 내용을 대체해야 합니다.

출처를 제시하는 것이 가장 효과적이었습니다. 나중에 “그것이 지금도 옳은 것인가”를 확인할 수 있기 때문입니다. 기록하지 않으면 근거를 잃은 규칙만 남게 됩니다.

또 다른 점은 직원들이 이지에 직접 내용을 추가할 수 없도록 했습니다. 제가 승인할 때만 추가가 가능합니다. 스스로 자신의 규칙을 수정할 수 있게 되면, 불리한 규칙부터 순서대로 삭제될 것입니다.

사람도 마찬가지입니다.

## 학위와 표준 중 어느 것이 더 강한가

종이가 많아질수록 다음으로 곤란한 것은 순서입니다. 업무 지시, 직원별 학습, 전사 규정, 사회적 표준 등 동일한 내용에 대해 서로 다른 내용이 제시될 때, 어떤 것을 따라야 할까요.

저희 회사에서는 구체적인 것이 더 유리하다고 판단했습니다.

세상에 통용되는 기준은 일반적인 정답이며, 우리들의 배움은 이 회사만의 정답입니다. 그래서 후자가 승리합니다.

하지만 여기 한 가지 예외를 두었습니다. 안전, 접근성, 법률 기준은 누구도 완화할 수 없습니다.

학습으로 쓸 수 있는 것은 엄격한 기준만을 따르는 방향뿐입니다. “이번에는 색상 확인을 건너뛰는” 것은 학습으로 쓸 수 없는 것입니다. 왜냐하면 저는 색맹이고, 색상 차이만으로는 최종 판단이 불가능하기 때문입니다. 완화되는 순간, 제가 스스로를 확인해 볼 수 없게 됩니다.

![画像](https://assets.st-note.com/img/1788825650-u0UdkcsCNW5TO3tXoeDRHm9h.png?width=1200)

## 대신 “끝났어”라고 말할 수 없게 되었다.

좋은 일만 있는 것은 아닙니다. 검사를 추가한 대가는 완료라고 말할 수 있는 조건이 더욱 엄격해지는 것입니다.

저희 회사에서는 검사 담당자가 있는 공정은 실제 기록 파일이 남아 있을 때만 완료로 처리해도 된다고 결정했습니다.

보고서 문구가 “합격이었습니다”라고 하더라도 완료는 되지 않습니다. 문구는 나중에 얼마든지 추가할 수 있습니다. 파일은 1회 검사를 할 때마다 실제로 1개씩 증가합니다.

같은 사고방식을, 시도 횟수 제한에도 도달했습니다. 세는 것은 몇 번째 시도인지 뿐입니다. 결과물 안의 내용이나, 전회의 판정은 무시합니다.

멈춰있는 기간 동안에는 내용이 변하지 않기 때문입니다. 변하지 않는 값을 상한 판정에 사용하면 조건이 언제나 충족되지 않습니다. AI 직원들 간에 거의 같은 지적과 거의 같은 수정을 끊임없이 반복합니다.

그 사이 요금은 계속해서 올랐습니다. 저는 이것을 제 다른 도구로 한 번 해봤습니다.

## AI 직원에게 검사 역할을 부여하는 절차는 다음과 같습니다.

1.  **검사 역할 정의:**
    먼저, 어떤 종류의 검사를 AI 직원에게 수행하도록 할 것인지 명확하게 정의해야 합니다. 예를 들어, 고객 문의 응답의 정확성 검사, 데이터 분석 결과의 오류 검사, 코드의 논리적 오류 검사 등 구체적인 검사 범위를 설정합니다.

2.  **검사 기준 설정:**
    정의된 검사 범위에 따라, AI 직원이 검사를 수행할 때 어떤 기준으로 판단할 것인지 구체적인 기준을 설정합니다. 예를 들어, 고객 문의 응답의 경우, 정답과 유사한 정도, 사용자가 만족하는 정도 등을 기준으로 평가할 수 있습니다.

3.  **검사 데이터 준비:**
    AI 직원이 검사를 수행할 수 있도록, 검사 데이터를 준비합니다. 검사 데이터는 실제 사용자의 데이터를 활용하거나, 전문가가 직접 생성한 데이터를 활용할 수 있습니다. 데이터의 양과 질은 검사의 정확도에 큰 영향을 미치므로, 충분한 양의 데이터를 확보하고, 데이터의 품질을 관리하는 것이 중요합니다.

4.  **AI 직원에게 검사 역할 부여:**
    정의된 검사 역할, 검사 기준, 준비된 검사 데이터를 AI 직원에게 제공하고, 검사 역할을 부여합니다. 이때, AI 직원의 역할과 책임, 검사 결과의 활용 방법 등을 명확하게 설명합니다.

5.  **검사 결과 모니터링 및 개선:**
    AI 직원이 수행한 검사 결과를 지속적으로 모니터링하고, 검사 기준의 적절성을 평가합니다. 검사 결과에 따라, 검사 기준을 수정하거나, AI 직원의 교육을 강화하는 등 개선 방안을 마련합니다.

6.  **검사 결과 활용:**
    AI 직원이 수행한 검사 결과를 바탕으로, AI 시스템의 성능을 개선하고, 사용자 경험을 향상시키는 데 활용합니다. 예를 들어, 검사 결과에서 발견된 오류를 수정하거나, AI 시스템의 학습 데이터를 업데이트하는 등의 활동을 수행할 수 있습니다.

이러한 절차를 통해 AI 직원에게 검사 역할을 부여함으로써, AI 시스템의 품질을 향상시키고, 사용자 만족도를 높일 수 있습니다.

이제부터는 그대로 따라할 수 있는 형태로 작성합니다. 입력하는 내용은 전부 Claude Code에 말하는 일본어입니다. 명령어를 하나도 입력하지 않습니다.

저는 데스크톱 앱의 코드 탭에서 작업하고 있으며, 터미널(검은 화면)에서도 동일한 작업을 수행할 수 있습니다.

### 단계 0: 먼저, 앞으로 무엇을 할지

할 일은 세 가지입니다. 검사 역할을 1명을 정하고, 무엇을 보느냐를 1장에 적고, 지시된 것을 1줄씩 모읍니다. 새로운 도구는 필요하지 않습니다.

### 단계 1: 두 번 언급된 내용을 한 번 적는다.

무엇 때문에: 검사위원에게 무엇을 확인해 달라고 요청할지 결정하기 위한 것입니다. 이 곳이 비어 있다면 검사가 무사히 지나칩니다.

할 일: 종이든 메모든 상관없습니다. 다음 행을 채워주세요.

성공 신호: 하나로 결정되어 있다면 충분합니다. 아무런 연관성이 없다면, 오늘은 아직 검사 역할이 필요하지 않습니다.

### 단계 2: 검사관을 한 명만 선정한다

무엇 때문에: 작성자가 그대로 내놓는 형식을 멈추기 위해서입니다.

할 일: 클로드 코드에 다음을 말합니다. (괄호 안에는 본인의 직책명을 대체합니다.)

성공 신호는 두 개의 파일이 열렸을 때 서로의 이름이 포함되어 있는 경우입니다. 한쪽 파일만으로는 쌍이 이루어지지 않았습니다.

### 단계 3: 무엇을 볼지 한 장에 적는다

왜냐하면 “특히 문제가 없다고” 해서 멈추지 않기 위해서입니다.

할 일: 목표치를 1장 제작합니다. 다음 내용을 그대로 붙여도 괜찮습니다.

성공적인 결과의 신호: 파일 안에 판정 3개와 불합격으로 적을 3개가 나열되어 있습니다.

### 4단계: 검사관에게 해당 서류를 전달한다.

종이를 만들어서는 아무 쓸모가 없기 때문입니다.

할 일: 검사 담당자 설정란에 따르는 문서의 이름을 적습니다.

성공 신호: 검사 담당 파일에 ‘표준’ 행과 “## 리뷰 기준” 제목이 모두 존재합니다.

### 단계 5: 지시된 대로 둔감한 공간을 만드는 것

무엇 때문에: 수리해도, 아무리 해도 똑같은 실패가 반복되기 때문입니다.

할 일: 직원별로 각 1개씩 제작합니다. 1단계에서 추출한 내용을 그대로 첫 번째 줄로 설정합니다.

성공적인 결과의 신호는 한 줄 안에 날짜, 해야 할 일, 이유, 출처의 4가지 정보가 포함된 형태입니다. 하나라도 누락되면 나중에 확인하실 수 없습니다.

### 단계 6: 매번 해당 종이를 읽도록 합니다.

무엇 때문에: 모아두는 것보다 읽어야만 더 늘어날 뿐이니까요.

할 일: 일을 부탁할 때의 표현에 1문자만 추가합니다.

성공 신호: 나타난 결과물이 이전에 수정한 부분을 처음부터 피하고 있습니다. 피하지 않았다면 학습 방법의 기록 방식이 모호합니다. 절차 5로 돌아가 판단 가능한 표현으로 수정합니다.

### 단계 7: 진행 중 문제가 발생했을 때 확인

검사 결과가 매번 “문제 없습니다”로 나오면, 3단계 절차를 제대로 확인하지 않은 것입니다. 4단계의 ‘표준’을 확인합니다.

모든 것이 보류될 때 검사역의 권한이 충분하지 않은 경우입니다. 판단할 수 있는 범위를 “## 권한”에 추가합니다.

같은 지적이 3회차로 반복되는 것은, 수정해야 할 부분을 잘못 지적하고 있는 것입니다. 수정해야 할 것은 결과물 자체가 아니라, 학습한 한 줄입니다.

## 알 수 없는 부분이 있습니다.

이까지 읽어보니, 의미가 제대로 전달되지 않는 부분이 있을 것 같습니다. 설정 항목인지, 목표 지표인지, 아니면 학습 내용인지 불분명합니다.

모르는 부분은 필자의 Claude Code에게 직접 문의하는 것이 좋습니다. 그는 모든 것을 알려주실 겁니다. 저 또한 학습 내용의 한 줄을 작성하는 방법을 판단 가능한 형태로 만들기 위해 몇 번이나 수정받았습니다.

듣는 방법은 이것으로 충분합니다.

## 다음 예고와 동일한 시스템을 만들고 싶으신 분들께 드립니다.

다음 회차는 글을 쓰는 기계를 만들었던 이야기입니다. 과정을 분리하여 구성했는데, 글을 시작하기 직전 단계에서 고장났습니다.

좋다면 팔로우하고 다음에도 함께 읽어오세요.

업무적으로 동일한 시스템을 만들고 싶으신 분은 노트 메시지 또는 X를 통해 연락 주시기 바랍니다. 가능한 사항은 3가지입니다.

출력 전에 반드시 한 번 멈추는 검사 과정을 포함합니다.

검사용 줄자를 종이로 만들어 원하는 대로 모양을 조절합니다.

한 번 언급한 지적을 축적하여, 다음부터는 자동으로 보호하도록 한다.

**출처:** [note 원문](https://note.com/sabacamera/n/n640c747ab0b6)

*번역: Gemma 3(.44) 초벌 + 교정 61청크*

[원문 보기](https://note.com/sabacamera/n/n640c747ab0b6) | 출처: note.com