"필요 없다"고 말한 절차가 여전히 남아있었다.
입력 화면에서 이 단계는 불필요합니다.
AI 에 그렇게 말하자면 지시서를 다시 작성해 주셨다. 그런데 제외된 항목은 내가 말한 것과 다른 칸이었다. 필요 없다고 한 절차는 그대로 방치된 상태였다.
AI 는 잘못 들은 것이 아닙니다. 말을 제대로 들었습니다. 그럼에도 불구하고 전달되지 않았습니다.
안녕하세요, 퇴근 후 CEO 아키입니다. 프로그래밍 경험이 없는 회사원이 AI 를 '조직'으로 활용하여 취미의 기록 앱을 만들었습니다. 이 글은 그 실제 경험의 4 번째 편입니다. 이전 편 (#3) 마지막에 '전달하려 했던 것'과 '실제로 전달된 것' 사이에는 무엇이 있었는지 언급했습니다. 이번 편에는 그 이야기를 다룹니다.
조사해 보니, 이 '전달되지 않는' 순간은 하나만 아니었습니다. 같은 시기에 형태가 다른 '전달되지 않는' 순간이 세 개 발생했습니다.
이 글에서 알 수 있는 점
- AI 가 '다른 장소'를 바로잡는 가장 흔한 이유
- 정답을 도출했음에도 불구하고 AI 팀에 전달되지 않은 이유
- 지시어에 한 문장만 추가했을 뿐인데, 한 번의 진행에서 1 개에서 3 개로 이동할 수 있는 이야기입니다.
- AI 에게 부탁한 일곱 가지 요청에 대해, 이어진 세 가지 문장입니다.
1. AI 는 화면을 보지 않고 '아마 여기'라고 단정했습니다.
첫 번째 사건의 원인은 매우 단순했습니다.
응답한 AI 는 실제 화면을 열어 확인하지 않고, 이전 대화의 맥락에서 '이건 '모드' 항목이겠지'라고 판단했습니다. 그러나 그 위치에 실제로 등장한 것은 다른 항목이었습니다.
예를 들어, 가족에게 전화로 '책상 두 번째 층의引き出し에 있는 서류를 버려두라'고 부탁한 것과 같습니다. 상대방은 책상 앞에 가지 않고, 기억 속의 책상에서 생각하며 다른引き出し을 열어버렸습니다. 말은 정확하게 전달되었지만, 본래 보고 있던 물건과 달라버린 것입니다.
이에 따라 AI 팀의 공통 규칙에 다음 문항이 추가되었습니다.
화면에서 지적된 경우라면, 실제 화면을 조작하여 몇 번째에 어떤 것이 표시되어 있는지 확인한 후 대상물을 결정하세요. 이름이나 기억으로 추측하지 마세요.
동시에, '필요 없다'라고 거절당한 항목은 수정한 1 곳으로 끝내지 않고, 같은 항목이 등장하는 다른 화면을 모두 찾아 수정하는 원칙도 추가했습니다.
공백 2: 답은 이미 나왔지만, 상대방이 읽을 수 있는 자리에는 없었습니다.
두 번째는 AI 간에 발생한 것입니다.
저의 AI 팀에서는 현장에서 작업을 수행하는 개발 담당 AI 가 판단에 어려움을 겪으면 총괄을 맡은 비서 AI 에게 상담을 요청합니다. 비서가 답변을 제공하고, 개발 담당이 그 내용을 확인하며 진행해 나가는 것이 일반적인 흐름입니다.
어떤 상담에도 비서가 명확한 답변을 제시했습니다. 그런데 개발 담당자의 보고에는 같은 상담이 '연속, 이전과 변화 없음'으로 2 회 연속 등장했습니다.
원인은 답을 적어둔 장소였습니다. 비서는 답을 오직 자신의 기록용 문서에만 적어두었기 때문입니다. 개발 담당자가 매번 확인하는 것은 지시서의 본문뿐입니다. 따라서 개발 담당자의 눈에는 답이 항상'아직 오지 않았습니다'로 남아있었습니다.
비서가 그렇게 한 데에는 이유가 있었습니다. "큰 규모의 지침서를 모두 다시 쓰면 리스크가 있다"는 AI 특유의 배려였습니다. 악의는 전혀 없었습니다. 하지만 답은 여전히 도착하지 않았습니다.
수정 방법은 하나뿐입니다. 정답은 상대방이 실제로 읽는 곳에 직접 적는 것입니다.
이것은 AI 를 단 하나만 사용하는 사람에도 발생할 수 있습니다. 새로운 채팅을 열었을 때, 이전 대화에서 정한 내용은 반드시 읽히지는 않습니다. 정한 내용은 매번 읽히는 곳 (프로젝트 지시 항목 등) 에 적어두어야 합니다. AI 가 같은 질문을 반복해 왔다면, AI 의 이해력을 의심하기 전에 먼저 '자신의 답변이 상대방이 읽는 곳에 있는지'를 확인하는 것이 우선입니다.
3. 무엇을 말했는지, 어디까지 말하지 않았는지
셋째는, 숫자로 명확한 차이가 드러났습니다.
개발 담당자에게 수정이 필요한 항목을 정리해 전달했습니다. 그런데 개발 담당자는 한 번의 작업으로 한 항목씩만 진행합니다. 너무 신중했습니다.
지시문에 "결정된 범위 내에서라면, 여러 항목을 연속해서 진행해도 좋다"는 문장을 추가했습니다. 그 결과 다음 회에는 같은 시간 동안 3 개의 항목이 진행되었습니다. 한 번에 진행하는 항목의 수가 1 개에서 3 개로 늘어난 것입니다.
AI 는 게으른 것이 아닙니다. 어디까지 진행해야 할지 명시하지 않았기 때문에, 안전 쪽으로 기울어졌을 뿐입니다.
반대되는 상황도 있었습니다. 어떤 게임의 사양에 대해 제가 실제로 플레이한 경험과 AI 가 조사한 6 개의 전문 사이트의 설명이 6 대 1 의 비율로 충돌했습니다. 그럼에도 불구하고 AI 는 사이트들의 다수결로 저의 경험을 바꾸지 않고, "이것은 스스로 결정할 수 없다"고 판단을 저에게 되돌렸습니다. AI 는 실제로 사용하는 사람만 알 수 있는 사실은 사람에게 물어봐야 한다는 원칙을 분명히 했습니다.
진행할 수 있는 범위와 멈추어 들어야 할 장소. 이 두 가지를 함께 적어두면 잘 돌아갑니다.
세 가지 모두 AI 의 능력 문제 때문이 아니었습니다.
병렬해 보면, '전한つもり'과 '전달된 것' 사이에는 세 가지 '어디'가 있었습니다.
- 어디를 보아야 할까 (현실의 화면인가, 기억인가)
- 어디에 적을 것인가 (상대가 읽을 자리인가, 본인의 메모인가)
- 어디까지 할까 (진행할 수 있는 범위와 멈출 자리)
모든 사례가 AI 의 지적 능력이 부족해서 발생한 것은 아닙니다. 인간 간의 업무에서도 그대로 발생하는 일입니다. 다만, AI 는 "확인해 볼까요?"라고 되묻지 않는 점이 다릅니다. 따라서 요청하는 쪽이 먼저 작성해 두는 것입니다. 그렇게 하면 간극이 많이 메집니다.
AI 에게 부탁한 일곱 가지 요청에 대해, 이어지는 한 문장 세 가지
이번 세 가지 틈새를 역산하여 지시문에 추가할 문장을 정리했습니다. 복사하여 바로 사용하세요.
수정하기 전에 실제 화면을 열어 표시되는 항목의 순서를 적어두시고, 수정 대상 항목을 결정해 주세요. 기억이나 이름으로 추측하지 마세요.
결정된 사항은 다음 작업 시 처음 읽는 곳에 적어주시고, 어디에 적었는지도 알려주시기 바랍니다.
이 범위 내라면 확인을 기다리지 않고 계속 진행해도 됩니다. 다만, 제 실제 사용법이나 데이터 관련 내용은 결정하지 않고 먼저 확인해 주세요.
첫 번째는 '보는 곳'의 오차, 두 번째는 '쓰는 곳'의 오차, 세 번째는 '진행할 범위'의 오차를 막을 수 있습니다.
다음 화 예고
다음 번 (#5) 에서는 제가 모든 과목을 합격한 상태에서 실제 기기로 화면을 열자마자 '보는 기운이 사라진다'고 말해버린 화면에 대한 이야기입니다. 데이터는 삭제되지 않았습니다. 그럼에도 불구하고 사라진 것처럼 보였습니다. 그 이유를 설명합니다.
이 연재는 AI 가 초고를 도와 작성하고 있습니다. 팔로우를 주시면 큰 힘이 됩니다.
출처: note 원문
번역: Qwen 3.5(.48) 초벌 + 교정 22청크
원문 보기 | 출처: note.com