# 201명의 Claude에게 책을 교환시킨 결과 — AI 에이전트의 약점은 ‘협상’보다 인간 이해였다 > https://bookfactory.kr/board/ai-tech/18659 > 게시판: AI·머신러닝 > 작성자: admin > 작성일: 2026-09-26T12:33:21.793Z --- ![見出し画像](https://assets.st-note.com/production/uploads/images/317270577/rectangle_large_type_2_cd8dac5c4a9707b472724ccc1f2276eb.png?width=1280) 이 기사에서 알 수 있는 것 - Anthropic은 2026년 9월 24일, 공식 연구 페이지 'Project Swap'에서 201명의 직원과 각각의 Claude 에이전트가 책 교환 시장에서 거래를 진행한 사내 실험 결과를 공개한 것 - 실험에서는 시장 전체의 비효율성(원래라면 더 만족스러운 배분이 가능했을 격차)의 85%가 Claude 에이전트끼리의 협상 미숙 때문이 아니라 Claude가 참가자 본인의 선호를 정확히 파악하지 못했던 데서 비롯되었다는 점 - 이 실험의 참가자는 Anthropic 직원 201명이며, Anthropic 스스로가 “일반 인구를 대표하지 않는다”고 명시하고 있다는 점, 또한 실험에 사용된 것은 “착한” Claude뿐이며 악의적인 에이전트를 혼합했을 경우의 결과가 아니라는 점에 주의가 필요하다는 것이다. “우리는 Claude들로 구성된 축소판 시장을 만들었다 — 사람들을 대신해 마켓플레이스에서 상호작용하는 에이전트들에 관한 우리의 첫 실험인 Project Deal의 보다 통제된 후속 실험이다” — 주요 1차 출처인 Anthropic 공식 연구 페이지 “Project Swap”(2026년 9월 24일 공개)은 이처럼 실험의 위상을 설명하고 있다. 실험의 설계——201명이 5분간의 대화로 에이전트에게 취향을 맡겼다 주요 1차 정보에 따르면, 실험에는 201명의 Anthropic 직원이 참여했다. “201명의 참가자는 샌프란시스코, 뉴욕, 런던, 시애틀, DC, 더블린 오피스에 있는 6개의 지역 풀에 분산되어 있었다”고 한다. 참가자들은 각자 책을 가져와 5분간의 짧은 채팅으로 Claude 에이전트에게 자신의 독서 취향을 전달했다. 이 채팅을 바탕으로 에이전트는 참가자 풀 전체의 책에 대한 순위를 구축한 뒤 거래 플로어로 보내진다. 거래 플로어에서는 에이전트들이 공유 채널상에서 책 교환을 제안·협상하고, 여러 당사자에 걸친 순환 거래도 진행하면서, 제한 시간 내 혹은 에이전트들이 더 이상 거래를 제안하지 않게 된 시점에 거래가 종료되도록 설계되어 있다. 주요 1차 자료는 이 실험의 목표를 간단히 이렇게 밝히고 있다. “목표는 모두가 즐길 수 있는 여름 책을 한 권씩 집으로 가져갈 수 있도록 하는 것이었다.” 5분간의 대화로, Claude는 본인의 취향을 어디까지 알아맞혔을까 주요 1차 정보는 이 5분간의 대화만으로 에이전트가 참가자 본인의 취향을 어느 정도 재현할 수 있었는지에 대해 다음과 같이 보고하고 있다. 5분간의 대화를 바탕으로 에이전트가 매긴 책 순위는 해당 인물의 순위와 전체 쌍 중 61%에서 일치했는데, 이처럼 짧은 대화치고는 놀라울 정도로 좋은 결과이다. 이 61%라는 숫자가 어느 정도 수준인지를 가늠하기 위해, 주요 1차 정보는 단순한 인기도 순위와의 비교도 제시하고 있다. "단순히 인기가 높은 순서대로 책의 순위를 매긴 경우……참가자와의 일치율은 약 53%의 쌍에 그쳤다." 즉, 아무런 정보 없이 책을 인기순으로 나열할 뿐인 경우와의 차이는 불과 8포인트 정도이며, 61%라는 수치는 "에이전트가 본인을 완벽하게 이해했다"고 말할 수 있을 정도의 높이는 아니다. 어디까지나 단순한 인기도 기반 추정보다 다소 우수하다는 수준의 수치다. 협상 결과를 좌우한 것은 “지시”보다 “모델의 차이” 주요 1차 정보는 에이전트의 협상 스타일을 바꾸는 지시(instructions)와 에이전트에 탑재된 모델의 차이 중 어느 쪽이 협상 결과에 더 큰 영향을 미치는지를 비교하는 실험도 진행했다. 결론에 대해서는 다음과 같이 밝히고 있다. 에이전트가 어떤 모델에서 실행되었는지가 우리가 제공한 지시보다 협상 결과에 더 큰 영향을 미친다는 것을 발견했다. 주요 1차 정보가 나타내는 구체적인 차이의 크기는 다음과 같다. 지시의 차이에 대해서는 “an agent told to be ruthless scored about 0.02 higher than one told to be prosocial”(“무자비하게 행동하라”고 지시받은 에이전트는 “친사회적으로 행동하라”고 지시받은 에이전트보다 점수가 약 0.02 높았을 뿐이었다)라고 되어 있다. 한편, 모델의 차이에 대해서는 “에이전트를 Haiku에서 Opus로 업그레이드하면 참가자는 자신의 목록에서 평균 0.12만큼 순위가 상승했다”(에이전트를 Haiku에서 Opus로 업그레이드하면 참가자는 자신의 선호 순위에서 평균 0.12포인트 더 높은 책을 얻게 되었다)고 보고되고 있다. 즉, “협상 방식을 지시로 조정하는 것”보다 “어떤 모델을 사용하느냐”가 참가자가 최종적으로 얻은 책이 본인의 선호 순위에서 얼마나 상위에 오르는지에 약 6배 더 큰 영향을 미쳤다는 것이다. 한편 이 0.12와 0.02라는 수치는 선호 순위에서의 순위 변동을 나타내는 지표이며, 후술하는 10점 만점 설문 만족도 점수(7.2점)와는 별개의 지표라는 점에 유의해야 한다. AI 에이전트에 대한 만족도, 그리고 맡길 수 있는 예산 규모 실험 3주 후에 실시된 추적 조사에서는 참가자들이 실제로 받은 책에 어느 정도 만족했는지도 물었다. 주요 1차 정보에 따르면 “평균 만족도 점수는 10점 만점에 7.2점이었다”이며, “약 절반은 자신이 직접 고르는 대부분의 책보다 좋았다고 답했다”고 한다. 참가자들의 신뢰도를 측정하기 위한 질문으로, 내년 도서 예산 중 얼마를 AI 에이전트에게 맡겨도 되는지 묻기도 했다. 주요 1차 정보에 따르면 “평균적인 답변은 약 30%였다”고 한다. 이 수치를 가늠하기 위한 기준으로, 책을 많이 읽는 친구에게 같은 판단을 맡긴다면 예산의 어느 정도를 맡기겠는지도 물었다. “이 수치를 보정하기 위해 참가자에게 책을 많이 읽는 친구에게 예산의 얼마를 맡기겠는지 물었다……약 40%였다.” 즉, 참가자들이 Claude 에이전트에게 맡기려 한 예산의 비율(약 30%)은 신뢰할 수 있는 친구에게 맡기는 비율(약 40%)보다는 낮았지만 결코 작은 수치는 아니었다는 것이다. 한편, 이 3주 후 추적 조사(endline survey)에 대해서는 응답률이 다소 떨어졌다는 점도 기록되어 있다. 주요 1차 자료는 보충 주석에서 “About 60% of the participants answered the endline survey.”(참가자 중 이 추적 조사에 응답한 사람은 약 60%였다)라고 명시하고 있으며, 만족도 7.2점이나 예산 30%라는 수치는 어디까지나 이 약 60%의 응답자를 기준으로 한 것임을 염두에 두어야 한다. 이 기사의 핵심은 AI 에이전트의 비효율성 85%가 '협상을 못하는 것'이 아니라 '이해가 조악한 것'에 있었다는 점이다. 지금까지의 결과는 모두 “에이전트 간 협상이 얼마나 효율적이었는가”라는 논점에 관한 것이지만, 주요 1차 정보가 보여주는 가장 중요한 발견은 그 비효율성의 “원인별 내역”에 있다. 주요 1차 정보는 실험 시장 전체가 이상적인 배분에서 얼마나 벗어났는지를 분석한 뒤 다음과 같이 서술하고 있다. Claude의 부정확한 순위를 바탕으로 작업한 것이, 이 부족분(비효율성)의 대부분인 85%를 차지했다 즉, 참가자가 최종적으로 받은 책이 이상적인 배분에서 벗어난 원인의 85%는 "에이전트끼리 원활하게 협상하지 못한 것"이 아니라, "애초에 에이전트가 5분간의 대화에서 참가자 본인의 취향을 정확하게 파악하지 못한 것"에 기인했다는 것이다. 나머지 15%는 에이전트끼리의 자유로운 협상 그 자체로 인한 손실이다. 이 결과는 AI에게 무언가를 ‘대리’시킬 때의 병목이, 일반적으로 상상하기 쉬운 ‘협상력’이나 ‘협상 기술의 뛰어남’이 아니라, 그 이전 단계, 즉 ‘본인의 의도나 선호를 얼마나 정확히 이해하고, 그것을 에이전트 내부에 얼마나 정확히 표현하고 있는가’에 있음을 보여준다. 간과하기 쉬운 관점――201명의 Anthropic 직원은 일반 인구를 대표하지 않는다 주요 1차 정보는 이 실험의 한계(limitations)에 대해 다음과 같이 명시하고 있다. Anthropic 직원들은 일반 대중을 대표하지 않는다. 예를 들어, Anthropic 직원들은 Claude 개발에 참여한 사람이 많기 때문에 대부분의 사람들보다 Claude를 더 기꺼이 신뢰하려는 경향이 있을 것이며, 따라서 그들이 맡기려 한 도서 예산의 30%라는 수치는 더 넓은 일반 대중의 수치보다 높을 가능성이 있다. 즉, 61%라는 취향 일치율이나 30%라는 예산 위임 비율은 모두 Anthropic 직원이라는, Claude에 우호적인 경향을 갖기 쉬운 집단에서 얻어진 수치다. 이를 그대로 일반 소비자나 일본 독자에게 적용하여 “AI 에이전트는 인간의 취향을 60% 이해할 수 있다”, “사람들은 자산의 30%를 AI에 맡기고 싶어 한다”고 일반화할 수는 없다. 또 한 가지, 실험 설계 자체의 한계로서 주요 1차 정보는 사용된 에이전트의 특성에 대해서도 명시하고 있다. 우리가 살펴본 것은 예의 바른 Claude뿐이었다. 모든 에이전트는 Claude 프로덕션 모델을 바탕으로 구축되었으며, 예의 바르고 대체로 협력적으로 행동하도록 사후 학습되었다. 다른 에이전트를 착취하도록 설계된 적대적 에이전트를 일부 섞었다면, 공정성과 효율성 측면에서 결과는 아마 달라졌을 것이다. 즉, 이 실험 결과는 "협력적인 AI 에이전트끼리 대리인으로 행동한다"라는 비교적 온화한 조건에서의 결과이며, 악의적인 에이전트가 섞인 보다 경쟁적·적대적인 상황에서의 결과를 나타내는 것은 아니다. 일본 독자에게 주는 시사점 이제부터는 1차 정보를 바탕으로 한 AI TREND LAB의 고찰이며, 단정이 아닌 추측을 포함한다는 점을 미리 밝혀둡니다. AI 에이전트에게 쇼핑이나 협상을 대리시키는 것을 검토 중인 독자에게 이번 실험은 "에이전트의 협상력을 키우면 대행은 잘될 것"이라는 발상을 되돌아보는 계기가 될지도 모른다. 이번 결과를 바탕으로 보면, 오히려 중요한 것은 에이전트에게 자신의 취향과 의도를 전달하는 '처음 몇 분간'의 질이라고 할 수 있다. 61%라는 일치율이 단순한 인기 순위(53%)를 겨우 웃도는 수준에 그친 것도, “짧은 대화만으로 자신의 취향을 정확히 전달하는 것은 의외로 어렵다”는 사실의 이면이라고 볼 수 있다. 또한, “AI 에이전트에게 예산의 일부를 맡길 수 있을까”를 생각할 때에도, 이번 30%라는 수치는 Anthropic 직원이라는 한정된 집단의 답변임을 염두에 두고, 자기 자신이나 자사 고객이 어느 정도의 범위까지라면 안심하고 맡길 수 있는지는 별도로 확인할 필요가 있을 것이다. 정리: 내일부터 시도해 볼 수 있는 것 AI 에이전트에게 대리 행동(쇼핑, 일정 조정, 정보 수집 등)을 맡기기 전에, ‘에이전트에게 자신의 의도와 취향을 어떻게 전달할지’를 한 번 언어화해 보는 것부터 시작할 수 있다. 구체적으로는 이번 실험처럼 짧은 대화만으로 끝내지 말고, ‘양보할 수 없는 조건’, ‘선호 경향’, ‘피하고 싶은 것’을 미리 개조식으로 정리해 에이전트에게 전달해 보는 것이 좋다. 이번 실험이 보여준 ‘협상력보다 이해의 정확성이 병목이 되기 쉽다’는 경향을 고려하면, 에이전트의 설정이나 지시를 정교하게 만드는 것보다 먼저 자신의 의도가 얼마나 정확하게 전달되고 있는지를 되돌아보는 편이 효과로 이어지기 쉽다고 생각된다. 1차 출처는 여기에서 확인하세요: https://www.anthropic.com/research/project-swap 자세한 내용은 꼭 1차 자료를 직접 확인해 보시기 바랍니다. 출처 Anthropic “Project Swap” (Anthropic 공식 연구 페이지, 2026년 9월 24일 공개) https://www.anthropic.com/research/project-swap 맺음말 AI TREND LAB에서는 해외에서 발표되는 조사·보고서·공식 발표를 1차 자료를 바탕으로 꼼꼼히 검증하고, 과장이나 단정을 피하면서 일본의 비즈니스 종사자가 실무나 부업에 어떻게 활용할 수 있는지에 초점을 맞춰 번역·정리해 전달하고 있다. 앞으로도 AI TREND LAB에서는 해외의 1차 정보를 바탕으로 AI의 최신 동향을 정확하고 이해하기 쉽게 전달해 나갈 것이다. **출처:** [note 원문](https://note.com/aitrendlab/n/n4084ade4443a) *번역: Gemma 3(.44) 초벌 + 교정 42청크* [원문 보기](https://note.com/aitrendlab/n/n4084ade4443a) | 출처: note.com