더 자세하게 설명할수록, AI는 내 말을 따르는 것처럼 느껴졌다.
AI 에이전트(클로드 코드이든, 그 외든 같은 방식으로 생각했다.)에 지시문을 작성할 때, 나는 그렇게 생각하고 있었다. 저것도 알려줘야겠고. 혹시 모를 상황에 대비해서 이것도 기록해두자. 잘 작동하지 않는 상황에 부딪힐 때마다, 지시문에 한 줄씩 추가해갔다.
나는 지금, 몇몇 AI 직원들에게 일을 맡기고 note 수익화라는 작은 사업을 하고 있다. AI 직원들에게 매번 배부하는 지침에는, 떠올린 규칙과 과거에 풀리지 않았을 때의 반성을 하나하나 적어 내려갔다. 승인 방법, 보고 방식, 숫자 표기 방식, 전송 전 확인은 모두 필요하다고 생각하고 덧붙인 것들이었다. 꼼꼼하게 해주는 것이라고 생각하고, 정성을 들여 하고 있다는 자부심조차 있었다.
하지만, 그 지침서가 실제로 얼마나 두꺼운지 세어본 적이 있느냐? 나는, 그런 생각을 하지 않았어. 내용을 더 많이 채우는 것뿐만 생각하고, 늘어난 결과로 인한 “두께” 자체를 보지 않았던 거야.
우리 지시서는 541행에 달했다.
어느 날, 나는 무작정 숫자를 세어보기로 했다. 우리 회사 AI 직원들에게 배포하는 지침서는 541행, 20,426자로 구성되어 있었다.
비교를 위해 다른 지침서도 같은 방식으로 측정해 보았다. 이 사업의 근본적인 폴더에 있는 안내판은 45행이고, 여러 사업을 跨いで使う 공통 규칙을 담고 있는 곳은 76행이다. 어느 것과 비교해도 541행은 분명히 突出했다. 숫자로 나열하기 전까지, 이 차이의 크기는 보이지 않았다.
그리고, 이것이 가장 놀라운 점이다. 이 지시서는 AI 직원에게 무엇을 부탁할 때마다 매번 완벽하게 재배포되고 있었다. “오늘 할 일을 결정하자”와 같은 짧은 요청 때문에 541행, 20,426자를 처음부터 끝까지 꼼꼼하게 읽은 후에야 움직였다. 미루거나 일부만 읽는 일은 하지 않았고, 요청받지 않았음에도 불구하고 꼼꼼하게 처리하는 모습은 인간보다 더 성의 있거나 진지할 수도 있다.
나는 지시서를 쓸 때, 내용이 정확한지뿐만 아니라 결과적으로 배포되는 종이의 양이 어떻게 될지ばかり를 신경썼다. 그것이 매번 모두 배포되는 종이의 양이라는 감각이 완전히 빠져나간 것처럼 느껴졌기 때문이다. 한 번 읽어주게 하고 끝나는 자료와, 매번 배포되게 되는 지시서는 당연히 취급 방식이 다르게 받아들여져야 했다.
두꺼운 지침서가 곤란한 점은 무엇인가 – 측정 가능한 것과 측정 불가능한 것
솔직히 말씀드리고 싶습니다. 이 글에서 가장 강조하고 싶은 부분입니다.
측정한 것은 두 가지이다.
첫 번째. 매번, 매 응답마다 전부 읽히기 때문에 그만큼 읽어주는 양이 불필요하게 추가되었다. 이는 줄 수와 문자 수로 계산되는 이야기이다. 하지만, 그것으로 AI의 부담이 얼마나 경감되었는지는 측정하지 않았다. 줄어든 것은, 그저 읽어주는 양 자체였다.
두 번째로, 지시서를 정리하는 작업 자체 중에 중요한 규칙 3개가, 실수로 사라지기 직전이었다. 전체 44개 항목의 규칙을 기계로 확인한 결과, 41개 항목은 남아 있었지만, 3개 항목이 누락되어 있었다. 알아차리고, 당황하여 원래대로 되돌렸다. 여기서는 오해를 불러일으키고 싶지 않은 부분이다. AI가 긴 지시를 읽고 무시했다는 이야기가 전혀 없다. 지시서를 편집하는 도중, 인간인 우리 측이 양이 너무 많아 보지 못했던 것뿐이다. 단지 그것뿐이다. 두꺼운 지시서는 AI에게 읽히는 부담일 뿐만 아니라, 우리 측이 내용을 수정하는 작업 자체도 위태롭게 한다.
한편으로는 측정하지 못했던 것들도 있었다. 지시서를 짧게 하면 AI가 이전보다 더 내 말을 따르게 되었다. 이는 측정되지 않은 것이다. 짧게 하기 전과 짧게 한 후로, 지시 준수율과 같은 것을 실제로 비교한 적이 없기 때문이다. 느낌상으로는 좋아진 것 같은 순간도 있었다. 하지만 그것을 숫자로 보여달라는 요청이 들어오면 아직 내 손안에 없다. 여기서 “좋아졌다”라고 적는 것은 쉽다. 읽고 있으면 기분 좋은 이야기에도 된다. 하지만 측정되지 않은 것을 측정한 것처럼 쓰는 것은 이제 그만두기로 결정했다.
세상에는 긴 규정을 준 것에도 AI가 제대로 지키지 않았다는 조사 결과도 있고, 행 수를 줄였다고 성능이 몇 배나 향상되었다는 경험담도 나오고 있다. 景気のいい話ほど広まりやすい 것처럼 긍정적인 이야기는 더욱 쉽게 널리 퍼지려는 경향이 있다. 하지만 그것은 다른 사람들이 측정한 다른 환경에서의 이야기이고, 우리에서 직접 검증한 숫자가 아니다. 비슷한 이야기라서 굳이 이렇듯 결과를 써내려 가지 않아야 한다. 그렇지 않으면 나중에라도 스스로가 믿기 어려워질 수 있기 때문이다. 그래서 우리는 명확하게 구분해서 설명하고자 한다.
그러면 무엇 때문에 줄였냐는 질문에 대한 답은 간단하다. 매번 읽어주는 양을 줄이는 것과 편집 중 발생하는 실수를 줄이는 것이다. 이 두 가지는 확실하게 효과를 측정할 수 있다. 모든 효과를 측정할 수는 없지만, 측정 가능한 부분만으로도 충분히 하는 이유가 되었다.
지금 필요한 것들만 따로 정리해 두었다.
진작 했던 일은 거기까지 어렵지 않은 작업이었다. 중요한 것은 규칙 하나도 지우지 않았다는 것이다. 내용 자체를 줄인 것이 아니요, 그 위치만 바꾼 것뿐이다.
먼저, 지침서 내용을 두 종류로 분리했습니다. “항상 필요한 사항”과 “특정 상황(문제 해결이나 매월 한 번의 정리 시 등)에서만 필요한 사항”으로 분류했습니다. AI 직원들이 움직일 때마다 반드시 관련되는 것은 승인 방식이나 보고 양식과 같이 “항상 필요한 사항”이며, 반대로 평소에 흔히 발생하지 않는 불량 대응 절차는 “특정 상황에서만 필요한 사항”입니다.
전자는 원본에 그대로 남겨두고, 후자는 다른 파일로 옮겨서 본체에는 “필요할 때 참고하세요”라는 안내문구만 한 줄 남겨둔다. 평소에는 잘 보지 않아도, 필요할 때 바로 찾을 수 있도록 보관한다. 생각하는 방식의 차이이다. 책상 위에 전부 쌓아두거나, 책장 깊숙이 넣어두고, 그 위치만 기억하는 것이다.
또한, AI와의 대화에 대한 기준으로 1개를 정했다. 대화가 길어져서 이전 대화의 축적분이 40%를 초과했다면, 새로운 대화로 전환할 시점이 되었다. 그런 숫자이다. 이것 역시 절대적인 기준은 아니며, 판단에 惑わないための線으로 두고 있다.
541행이 193행으로 수정되었습니다. 다음으로 검토하겠습니다.
결과를 그대로 쓰니, 541행이 193행으로 줄고 20,426자가 9,500자로 감소했다. 행 수는 64% 감소, 문자 수는 54% 감소했다.
이제 뭐가 극적으로 나아졌다고 말할 수는 없단다. 지금 와 있는 건, 가벼워졌다는 사실 하나뿐이야. 효과를 크게 부각하고 싶다는 마음은 물론 있을 것이다. 하지만 그렇게 하면, 측정하지 않은 것까지 측정한 것처럼 되어버릴 거야. 그것은 피해야 한다.
AI 직원들의 움직임에 대해, 실제 어떤 변화가 나타날지 살펴보겠습니다. 지시 사항 준수율과 같은 것을 정확하게 측정할 방법을 고려하고, 숫자로 표현할 수 있게 되면 그때 솔직하게 기록하되, 이번에는 지시서를 약간 훼손한 정도까지 진행되었습니다.
걱정성 때문에 두꺼운 지침서를 작성했던 것일 거라고 생각한다. 걱정으로 덧붙인 규칙들이 결국 이쪽에서 놓치는 부분을 만들어냈기 때문이다. 아이러니하게도 좋은 깨달음이었다.
출처: note 원문
번역: Gemma 3(.44) 초벌 + 교정 21청크
원문 보기 | 출처: note.com