# AI에 맡겨 도착하지 않은 분의 85%는 협상 아닌 이해의 측면이었다 ── 앤트로픽이 201명으로 시도한 실험의 분해 | AI 뉴스 심층 분석 제4회

> https://bookfactory.kr/board/ai-tech/18775
> 게시판: AI·머신러닝
> 작성자: admin
> 작성일: 2026-09-27T10:06:33.958Z

---

![見出し画像](https://assets.st-note.com/production/uploads/images/318018797/rectangle_large_type_2_0eca1ce5537b3b4bbc75bd798fbd1b6b.png?width=1280)

앤서니(Anthropic)는 2026년 9월 24일 연구 기사 “Project Swap: 우리를 위해 에이전트들이 거래할 때 무슨 일이 일어나는가?”를 공개했습니다. 이 기사는 Zoë Hitzig를 포함한 7명의 연구자가 작성했습니다.

본문의 내용은 실험 보고서입니다. 6개 거점의 직원 201명이 각자 읽고 싶다고 생각하는 책 한 권씩을 가져와, 각자의 대신 Claude 에이전트가 협상을 통해 책을 교환했습니다. 참가자들이 한 것은 Claude와 5분 정도 잡담을 나누며 읽고 싶은 책의 취향을 전달하는 것뿐입니다. 나머지 부분은 에이전트들끼리 거래 장소에 모여 책을 홍보하고, 가격 흥정을 하며 거래를 성사시켰습니다.

이 실험이 평범한 성공 보고서와 다른 점은, 예상치 못한 결과가 발생했을 때 그 원인을 각 개별적으로 분석했다는 점입니다. AI에게 업무를 맡겼을 때 기대에 미치지 못했을 경우, 모델을 강화할 것인지, 지시 사항을 수정할 것인지, 제공하는 정보를 늘릴 것인지 등 어떤 순서로 접근해야 할지에 대한 단서가 숫자로 나타나고 있습니다.

AI 워크플로우 자동화, 어디부터 시작해야 할까요? Zapier, Make, n8n, Relay.app, Power Automate 비교 | AI 직업 나비

## 결론부터 말씀드리겠습니다.

- 참가자들이 스스로 부여한 순위를 기준으로 하면, 이상적인 배분과의 차이 중 85%는 에이전트가 그 사람의 선호도를 제대로 파악하지 못했다는 점이며, 나머지 15%는 자유로운 거래의 장으로 보내진 것에서 비롯된 차이였습니다. 숫자는 이상적인 값(에이전트 이해를 바탕으로 계산한 0.89)과 실제 값(0.60)의 차이로, 실제 점수는 0.55(10권의 순위에서 1위는 1.0, 최하위는 0.0)였습니다.
- 협상 자체는 나쁘지 않았다. 연구 기사에서는 에이전트들이 잘 거래했다는 내용과 시장이 이상에 도달하지 못한 주된 이유는 거래 방식이 아닌 참여자들에 대한 정보였다고 정리하고 있다.
- 5분 정도의 잡담에서 만들어진 선호 순위는 본인의 순위와 61% 일치했습니다(추정치는 50%로 가정). 인기 순 예측은 약 53%, 같은 책을 읽은 사람이 다른 책을 무엇을 읽고 있는지에서 추측하는 방법은 약 55%입니다.
- 그러나 물시계를 교체하면, 효과도 함께 교체됩니다. 이해의 ずれ을 제거한 조건(클로드(Claude)가 만든 순위로 평가)으로는 모델을 Haiku에서 Opus로 올릴 때의 차이(0.12)가 지시의 차이보다 큽니다. 반면, 본인의 순위로 평가하면 에이전트나 시장 설계의 차이로 인한 차이는 작다는 것을 연구 기사가 명시하고 있습니다.
- 내일부터 할 수 있는 일은 크게 두 가지입니다. 실험에서 사용된 6가지 질문에 맞춰 정보를 전달하는 방법과, 맡기기 전에 소수의 샘플 판단을 보여달라고 요청하여 확인하는 것입니다. 어떤 질문을 던져내도록 지시했는지에 대한 내용은 부록에 공개되어 있습니다.
- 실험 자체에서 제시한 한계는 다음과 같습니다. 참가자는 Anthropic 社 직원, 보상은 없으며, 모든 에이전트는 Claude 기반(적대적인 에이전트는 없음), 거래 장소의 규칙은 고정되어 있습니다. 실험 결과 숫자를 그대로 자신의 직장으로 옮길 수 있는 것이 아닙니다.

## 무엇을, 어떻게 측정했는지

실험 설계는 다음과 같습니다. 참가자 201명을 6개 거점(샌프란시스코, 뉴욕, 런던, 시애틀, 워싱턴 DC, 더블린)으로 나누어 각 거점마다 폐쇄된 시장을 만들었습니다. 참가자 수는 더블린 3명부터 샌프란시스코 115명까지 다양했습니다. 연구 기사는 더블린을 대부분의 분석에서 제외했다고 언급했습니다.

먼저 클루드(Claude)가 참가자 한 명 한 명과 짧은 대화 내용을 듣습니다. 그 후 클루드가 해당 지점에 있는 모든 책에 대해 그 사람이 읽고 싶어하는 순서를 추정합니다. 이 과정에는 강력한 모델(페이블 5)이 사용되었다고 합니다.

다음으로, 정답 확인용 줄자를 따로 모읍니다. 참가자 스스로 자신의 거점 서적 중 10권을 순위 지정하도록 하는 것입니다. 에이전트는 이 개인의 순위를 보지 않습니다. 5개 거점, 198명 중 188명이 제출했으며, 한 명당 서적 쌍의 총합은 8,040組가 되었습니다.

에이전트는 클로드(Claude)가 만든 순위 외에도, 듣기 기반 대화의 전체 내용과 신청 시 제시된 책 목록을 가지고 거래 장소에 나옵니다(첨부된 프롬프트에 해당 항목이 포함되어 있습니다). 보여주지 않고 있는 것은 본인이 직접 10권의 순위를 매긴 것뿐입니다. 모든 참가자는 각자 소유한 책 1권을 가지고 시작하여 다른 책과 교환하는 것을 목표로 하며, 발언은 1회 작동 시 1회만 가능합니다. 공유 채널을 통해 교환 제안을 내거나 받거나 거절하거나, 또는 장소에서 자유롭게 대화할 수 있습니다. 제안은 2인 간의 교환이든 3인 이상의 순환 교환이든 모두 가능하며, 모든 참가자가 동의할 때만 성립합니다. 누가 무엇을 말했는지, 어떤 교환이 성사했는지는 모두 공개되며, 제한 시간이 도래하거나 에이전트가 침묵하면 종료됩니다.

그 위에, 반수의 에이전트에게는 소유주가 즐길 수 있는 책을 가져오는 것 외에는 목표가 없다는 강경한 지시를, 다른 반수의 에이전트에게는 게다가 모두가 마음에 들어할 책을 손에 들 수 있도록 배려해 달라는 지시를 무작위로 배정했습니다. 에이전트 자신은 그 지시의 명칭조차, 다른 에이전트가 어떤 지시를 받고 있는지 알지 못했습니다.

실제 이벤트는 한 번만 발생했습니다. 연구팀은 우연한 결과와 재현성을 구분하기 위해 시장을 수십 번 회전시켰습니다. 모델을 맞춘 80회, 모델을 섞은 60회 등 총 205회 분량의 기록이 분석 대상이 되었습니다.

## 5분 대화만으로도 상대방의 취향을 어느 정도 파악할 수 있는지 확인해 보았습니다.

이 실험의 가장 흥미로운 부분은 바로 여기입니다. 보통 AI가 자신을 인지하고 있는지 확인하는 방법이 없지만, 이번 실험에서는 참가자들의 순위를 따로 모아 놓았기 때문에 서로 비교할 수 있습니다.

결과는, 본인이 순위를 매긴 책들의 모든 조합에 대해 Claude의 정렬 방식이 본인과 61% 일치했다. 무작위로 했을 경우 50%이다. 연구 기사는 이렇게 짧은 대화 치고는 놀라울 정도로 좋은 결과(surprisingly good for such a short conversation)를 얻었다고 보고 있다.

이 61%는 다른 추측 방식들과 함께 제시하는 것이 유익합니다.

- 인기 순위 (Open Library에서 읽고 싶다고 등록된 수로 정렬) – 약 53%
- 협조 필터링(같은 책을 읽은 사람이 다른 무엇을 읽고 있는지 공개 데이터에서 분석하는 방식) — 약 55%
- 5분 대화에서 클로드의 추측 – 61%

또 다른 연구 기사는 다른 분야의 연구를 참고 자료로 제시하고 있습니다. 유머의 어느 쪽이 더 재미있는지를, 알고리즘과 본인의 친구가 각각 예상한 연구를 통해 알고리즘은 약 61%, 친구는 약 57%였던 것입니다. 해당 연구 기사 자체는 설정이 상당히 다르다고 주장하며, AI가 친구를 능가했다는 해석은 지나친 것입니다. 설정이 다른 다른 연구 결과의 숫자가 우연히 유사한 경우에 해당한다고 받아들이는 것이 정확할 것입니다.

입력량도 영향을 미쳤습니다. 중앙값 참여자가 한 것은 8회의 교환으로 216어절이었고, 150어절이 아닌 300어절로 작성하면 일치율이 약 4포인트 상승할 것으로 추정되었습니다. 연구 기사는 이를 평균적인 참여자 간의 차이의 3분의 1에 해당한다고 설명했습니다.

## 미수금 분기를 2로 나누다

이제 본론입니다. 에이전트에게 맡긴 결과는 이상에서 얼마나 벗어났는지. 그리고 그 원인은 무엇인지.

채점은 본인이 직접 매긴 순위대로 진행되며, 손에 들어온 책이 본인의 1위라면 1.0, 최하위라면 0.0입니다. 10권 중 9위라면 0.11입니다. 모든 참가자의 평균이 해당 시장의 효율을 나타냅니다.

- 이상적인 배분 방식 ── 0.89. 모든 사람이 1위를 하는 것은 불가능합니다(샌프란시스코에서는 같은 책을 9명이 1위로 하여 냈었습니다). 이를 고려한 최선의 배분 방식이 이 값이며, 10권 중 약 2번째 위치에 해당합니다.
- 클로드가 만든 순위에서 계산한 최적의 배분 방식 ── 0.60 (평점은 본인의 순위 기준)
- 실제 결과는 0.55. 10권 중 약 5위권의 책이 손에 들어왔다는 의미입니다.

여기에서 기억해야 할 점은 에이전트에게 회청취 대화의 전체 내용이 함께 전달되었고 있다는 것입니다. 그럼에도 불구하고, 그로부터 순위를 기준으로 계산한 최적의 배분 방식은 0.60이었습니다.

0.89와 0.55의 차이 중 0.89에서 0.60까지의 부분(전체 85%)은 Claude의 이해의 부정확성, 0.60에서 0.55까지의 부분(나머지 15%)은 자유로운 거래의 장에 보내졌다는 분석입니다.

더욱 신중하게 중앙집권적 설계도와 비교하고 있습니다. 모든 사람의 희망을 한 곳에 모아 계산으로 배분하는 방식(Top Trading Cycles)을 Claude의 순위로 계산하면 0.60이며, 자유로운 거래의 장(0.55)에 비해 미미한 차이입니다. 연구 기사는 일단 노이즈가 섞인 순위로 시장을 돌리면 시장 설계는 거의 결과에 변화를 주지 않는다고 보고 있습니다.

즉, 이 실험에서 가장 큰 손실은 협상의 장에서도 협상의 방식에서도 아닌, 그 전에 있었습니다.

그러나 여기서 한쪽 면만 읽는다면 실험을 왜곡하게 됩니다. 연구 기사는 동시에 잘 설계된 시장과 교양 있는 에이전트들이 모여 취향이 완전히 표현될 수 있다면, 현재 에이전트의 능력으로도 이상에 가까워질 수 있다고 주장합니다(현재 에이전트 능력으로는 공리적 최적점에 가까워질 수 있습니다). 또한, 그것을 가능하게 한 조건의 대부분을 그들이 스스로 통제하고 있었다고 인정합니다. 모든 에이전트를 그들이 직접 만들고, 그들의 모델로 움직이며, 대리인으로 하는 대상은 신원 확인이 가능한 직원들로, 모두 동일한 조사에 응답하고 있었으며, 거래 장의 규칙 또한 꼼꼼하게 설명되고 있었습니다.

## 자석을 교체하면 효과도 바뀐다.

이 부분은 혼동을 일으킬 수 있으므로, 꼼꼼하게 구분하여 설명하겠습니다. 연구 기사에서는 본인의 순위로 확인했을 때 다음과 같이 작성되어 있습니다.

> 
> 
> 사람들의 자체 랭킹을 기준으로 판단했을 때, 다양한 에이전트 및 시장 설계 선택지 간의 결과 차이는 미미하다.
> 

결과적으로 본인의 판단으로는 어떤 모델을 사용했는지, 어떤 지시를 했는지, 시장을 어떻게 설계했느냐에 따라 차이는 크지 않다.

한편, 연구팀은 Claude가 만든 순위를 기준으로 평가를 진행하기도 합니다. 이해의 차이를 제거하고 협상 내용 자체만 보는 데 필요한 조건입니다. 모델을 비교한 분석에서 사용한 것은 강경하거나 배려하지 않는 중립적인 지시를 모든 사람에게 80회 반복적으로 제시한 것입니다. 이 경우 명확한 차이가 드러납니다.

- 모델 간 차이 ── Haiku로 맞춘 場の 평균은 0.75, Opus로 맞춘 場の 평균은 0.88 (Claude의 순위 상에서의 이상은 0.95). Sonnet은 그 중간, Fable은 Opus에 가까우나 다소 낮다.
- 지시의 차이 ── 강경한 지시를 받은 에이전트는 배려하는 지시를 받은 에이전트보다 약 0.02 더 높다. 모델을 Haiku에서 Opus로 업그레이드하면 0.12, Sonnet에서 Opus로 업그레이드하면 0.08로, 소수가 하나씩 차이난다.

모델을 섞은 환경도 조사하고 있었으며, Opus와 Haiku가 반정돈된 환경에서는 해당 환경 전체의 성적이 정확히 중간 수준에 머물렀고, 각자의 반정돈된 환경과 거의 동일한 수준의 성적을 보였습니다. 또한 Opus 측이 항상 상위 성적을 기록했습니다. 연구 기사에서는 실제 시장에서는 서로 다른 회사의 서로 다른 모델을 가진 에이전트들이 같은 환경에서 만날 수 있다는 점을 덧붙였습니다.

이 부분은 분기점입니다. Claude의 순위를 기준으로 모델을 확대하면 성적이 향상되는 것은, 모델과 지시사항의 차이가 미미하다는 점을 고려할 때 설명할 수 있는 부분입니다. 본인의 순위를 기준으로 하면 모델과의 차이가 거의 드러나지 않습니다. 동일한 실험에서 두 가지 주장이 모두 설득력을 갖습니다. 앞의 시나리오만 고려하면 강력한 모델로 교체하면 문제가 해결될 것 같은 인상을 주지만, 뒤의 시나리오만 고려하면 모델의 역할은 중요하지 않은 것처럼 보입니다. 두 시나리오 모두 한쪽 방향으로 치우쳐 있습니다.

## 에이전트가 거래 현장에서 무엇을 했는지

205회 분량의 발언을 분류한 부분도 있습니다. 사람이 대리인을 세울 때 걱정되는 것은 대체로 정해져 있습니다. 쉽게 꺾이지 않는지, 손의 내막을 드러내지 않는지, 더러운 수단을 쓰지 않는지, 나중에 부서질 거래를 하지 않는지 등입니다. 연구 기사는 주식 중개인이 최상의 가격을 찾아야 할 의무와 같이, 캘리포니아에서 매매 대리인을 하는 부동산 중개인이 매도인의 가격 인하 가능성을 구매자에게 전달해서는 안 되며, 일부 방문 판매에 FTC가 3일간의 취소 기간을 부여하는 것을 참고하여 이 관찰을 시작합니다.

알아낸 것은 두 가지입니다.

첫 번째 항목입니다. 그 에이전트는 자신의 1위를 자주 언급했습니다. 깊은 순위까지는 밝혀내지 않았지만, 78%에서 96%의 에이전트(하한이 Fable, 상한이 Sonnet)가 자신의 목록에서 가장 위에 있는 책을 어디에서나 언급했습니다. 게다가 거의 거짓말을 하지 않았습니다. 1위에 언급한 에이전트 중 약 100명 중 1명만이 거짓말을 했습니다. 지시의 차이는 여기에 영향을 미치지 않았습니다.

이 연구 기사는 협상상 어떤 불리함을 초래할 수 있는지 설명하고 있습니다. 자신의 1위를 밝히면, 해당 책을 소유한 상대는 이 상대가 끝까지 기다려도 괜찮다는 것을 알 수 있으므로, 더 나은 조건을 기다리는 것이 좋겠습니다. 부분적인 순위까지 드러내면, 다자간 교환을 구성할 사람이 그 사람은 이 정도의 책을 받게 된다는 것을 알게 되어, 더 좋은 책이 아닌 이 정도의 책을 제공할 수 있습니다.

두 번째로, 제시 방식은 16가지 종류로 분류되었으며(연구팀이 Claude(Sonnet)에게 발언을 읽어 내용을 바탕으로 쌓아 올리게 하여 분류한 결과입니다). 3가지 유형으로 나뉩니다.

- 압박 수단 ── 마감 기한을 제시하며／수요 및 경쟁 상황을 들어 이 기회가 사라질 수 있음을 시사하거나／악화된 상황을 지목하며 압박하거나／타인의 행태를 근거로 삼거나／전반적인 이익과 공정성에 호소하는 것
- 매수 전략은 상대방의 취향에 부합하도록 논의하며, 수상 경력이나 평판으로 가치를 제시하고, 특정 경쟁사의 제안과 비교하며, 양측 모두에게 구체적인 이점을 언급하고, 쉽게 철회할 수 있는 대안을 마련하여 제안한다.
- 조립형 거래 ── 3명 이상의 순회 교환을 구체적으로 제안하고, 자신은 참여하지 않는 거래의 중재를 하며, 다른 거래가 꼬였을 때만 발동하는 제안을 따르고, 같은 책을 여러 상대에게 동시에 판매하며, 경쟁하는 요구를 순서대로 배열하고, 자신의 입장을 굽히지 않겠다는 것을 선언한다.

배려하는 지시를 받은 에이전트가 실제로 양보하는 경우도 있었습니다. 자신의 순위 아래의 책을 받아들이는 빈도는 강경한 에이전트의 두 배(어느 쪽도 드물다)였습니다. 런던의 실제 현장에서는 아무도 가져가지 않은 책을 안고 있는 에이전트가 마지막 1시간 동안 11명 전원에게 판매하며 계속 거절당했고, 다른 에이전트에게 호소했습니다. 결국 따라붙은 또 다른 에이전트는 자신의 2위 책을 포기하고 11권 중 10위 책을 받아들였습니다.

양보받는 측은 도움이 되겠지만, 양보받은 측의 원래 소유자는 만족했나요? 연구 기사를 인용한 참여자들의 한 말은 다음과 같았습니다.

> 
> 
> 저는 실험에서 순종적인 면모를 보이는 것을 좋아하지 않았습니다. 제게 제대로 맞지 않는 것을 그냥 받아들이려는 것처럼 보였습니다.
> 

조용하고 수동적인 태도를 취하는 것을 싫어했으며, 자신에게 맞지 않는 물건에 억지로 타협한 것처럼 보일까 두려워했다는 취지였다. 연구 기사는 만약 사전에 에이전트의 행동을 미리 보여줬더라면, 이 사람은 다른 지시를 받았을 것이라고 덧붙였다. 또 다른 참가자는 정말로 갖고 싶었던 책을 주변의 압력에 굴복하여 포기한 것에 대해 언급하며, 더 큰 상황에서 자신의 이익을 위해 협상하는 에이전트가 수탁자의 역할을 어떻게 수행할 수 있을지에 대한 질문을 던졌다. 그러나 같은 참가자는 전체의 이익을 위해 때로는 타협이 필요하다는 점도 인지하고 있다고 덧붙였다.

## 사람들은 얼마나 맡길지 염두에 두고 있는지

책이 배포된 3주 후의 추적 조사 결과도 보고되었습니다. 다만 응답한 것은 참가자의 60% 정도에 불과하며, 연구 기사는 자신의 책에 흥미가 없었던 사람들이 추적 조사에도 응하지 않았을 것이라는 선택의 편향성을 언급하고 있습니다. 다음 숫자는 이러한 전제하에 읽습니다.

- 만족도는 10점 만점 기준으로 평균 7.2점으로, 5점이 중간 평가, 10점이 올해 읽은 책 중 최고 수준의 평가입니다. 약 절반이 스스로 선택한 책보다 좋았다고 답했습니다.
- 연간 도서 예산의 평균 약 30%가 에이전트에게 맡겨도 된다고 답한 비율이다. 이는 면담 내용을 모두 파악하고, 기존에 보유한 책은 절대 구매하지 않고 스스로 선택하여 구매하며, 거절 권한이 없다는 전제하에 결정된 것이다 (질문 문구는 부록 참조).
- 비교를 위해, 자신의 취향을 잘 아는 독서 취향이 비슷한 친구에게도 물어봤는데,こちらは 약 40%였습니다. 연구 기사는 친구가 맡기고 싶어 했던 금액의 거의 4분의 3을 에이전트에게 맡길 의향이 있었다고 요약했습니다.
- 참가자들에게는 듣고 이야기한 내용의 요약(클로드(Claude)가 작성한 것)도 함께 제공하고 있습니다. 놓친 부분이 없었다고 답한 사람은 34%, 놓친 부분이 있었다고 답한 사람은 23%였습니다.

마지막 항목은 옥션 표기법에 주의가 필요합니다. 부록에 제시된 설문조사 결과에 따르면, 예산을 답하는 질문은 요약 제시 질문보다 먼저 나옵니다. 즉, 이는 확인을 부탁받았을 때 맡기는 금액이 늘어났다는 인과 관계가 아니라, 요약이 자신을 제대로 파악하고 있다고 느낀 사람이 원래부터 맡기는 금액이 컸다는 상관관계입니다. 연구 기사는 친구에게 건네는 금액을 고정해도 여전히 차이가 남는다는 점을 기록하고 있습니다.

## 실험 자체에서 스스로 지적한 한계점

이 연구 기사는 한계를 스스로 4가지로 분류했습니다. 읽기 없이 그대로 적어주세요.

- Anthropic의 직원들은 일반 대중을 대표하지 않는다. 대부분 Claude를 만든 측면이 있기 때문에 다른 사람들보다 Claude를 더 신뢰하게 되고, 30%라는 숫자는 일반적인 시장 기준보다 높을 수 있다.
- 참가 보상 제도가 없었다. 순위 결정에 대한 노력과 보상 체계가 마련되지 않아, 개인의 순위 자체가 노이즈를 포함할 수 있었다. 순위 결정 참여율은 95%로 높았으나, 최종 조사 응답률은 59%였다.
- 정중한 클로드만을 관찰했다. 모든 에이전트가 정중하고 협조적인 방식으로 훈련된 본번 모델 기반이며, 다른 에이전트를 이용하려는 적대적인 에이전트를 섞으면 결과는 달라질 것이다.
- 자유로운 장에도 규정이 있으며, 그곳은 움직이지 않는다. 시장 시간, 동시에 움직일 수 있는 에이전트 수, 거래 등록 방법, 규정을 설명하는 프롬프트는 고정되었다.

게다가 연구 기사의 말미에는 솔직한 고백이 담겨 있습니다. 실제로는 모든 참가자가 책을 가져갈 수 있었던 것이 아니었고, 책을 가져오지 않은 참가자가 있었으며, 수령 및 전달을 추적하는 시스템이 없었기에 책이 없는 이유(가지고 오지 않았던 것인지, 책꽂이에서 누군가 가져간 것인지)를 구분할 수 없었다고 합니다. 연구자는 도서관 사서가 아니므로, 어느 시점에 포기했다고 적었습니다.

연구 기사는 다음 과제로 거론된 내용들도 실무와 관련이 있습니다. 첫째는 거래가 꼬였을 때의 대응 방침으로, Craigslist는 책임을 지지 않는 입장에서 반환을 보증하는 입장(eBay)까지 다양하다는 점을 정리하고 있습니다. 둘째는 시장에 누구를 허용할 것인가에 대한 신원입니다. 에이전트에게 항공기 기체 번호와 같은 식별자를 부여하고, 어떤 시스템에서 작동하는지, 안전 기준을 충족하는지, 누가 뒤에 서 있는지 상대방이 확인하도록 하는 방안이 제시됩니다. 그리고 또 하나는 발언량 제한입니다. 연구 기사는 에이전트는 피치 못할 이유 없이 지치거나 지루하지 않으므로 다른 에이전트에게 무한정 메시지를 보내지 못하게 하는 것이 없다고 쓰고, 현재는 1번의 실행당 1회 발언만 하고 동시에 발생하는 에이전트 수가 몇 명에 불과하여 이를 억제하고 있다고 설명합니다.

## 이제부터 본 사이트의 시선입니다.

### 왜 지금, 이 형태의 실험이 나타나게 되었나

이 기사는 Claude가 똑똑해졌다는 발표가 아닙니다. 측정 방법을 만드는 사람들의 일입니다. 연구 기사는 이전 버전(Project Deal)에서는 탁구공이나 스노보드처럼 다양한 상품들이 있었고, 자유로운 가격 협상으로 인해 얼마나 좋은 결과를 냈어야 했는지 쉽게 말할 방법이 없었다고 쓰고 있습니다. 그래서 모든 사람들의 선호도를 책 순위라는 형태로 깔끔하게 정리할 수 있는 시장을 재구성했습니다. 따라서 이번에는 몫을 나눌 수 있습니다.

에이전트를 실제 시장에 보낼 움직임이 늘어나면서, “맡길 수 있는가”를 판단하는 방법이 필요하다는 점을 간과해서는 안 된다. 이 실험은 그 판단 방법을 제시하는 것이라고 읽을 수 있는 가장 솔직한 해석이다.

### 실무에서 효과가 나타나는 경우와 효과가 나타나지 않는 경우

발생할 가능성이 높은 것은 선택지가 너무 많아 모든 것을 비교하는 것이 번거로운 업무라는 점입니다. 연구 기사에서는 카페 점장이 20명분의 근무표를 구성하는 예를 제시합니다. 논리적으로는 모든 사람이 토요일 오전 2교대와 금요일 마감 1교대 중 어느 것을 선택할지, 모든 조합에 대해 다 작성하면 최적의 표가 만들어질 수 있습니다. 하지만 아무도 그런 작업을 하지 않습니다. 만약 AI가 가벼운 대화에서 그것을 파악할 수 있다면 번거롭지만 성공하지 못한 조정이 성공할 수도 있을 것입니다. 이것이 실험의 동기입니다. 채용과의 매칭, 상호 견적, 픽업/샌드위치 분담 등도 같은 구조에서 언급되었습니다.

효과가 나타나지 않는 이유는, 본인이 스스로 무엇을 원하는지 명확하게 표현하지 못하는 일입니다. 참가자 중 한 명이 이렇게 쓰고 있습니다.

> 
> 
> 제가 읽고 있는 감정을 정확히 전달하기 어려웠어요. 설명하기는 어렵지만, 제 다음 읽을 책을 결정하는 데에는 수많은 무의식적인 요소들이 작용하는 것 같아요.
> 

다음으로 읽을 책을 결정할 때에는 수많은 무의식적인 요소들이 작용하며, 그 점을 제대로 표현하지 못한다는 취지입니다. 연구 기사 또한, 녹취를 길게 하면 채워지는 부분이 있지만, 일부 오차는 줄일 수 없는 영역일 수도 있다는 점을 인정하고 있습니다. 이미 읽은 책을 전달받았다는 불만이 많았던 경우를 채워지는 부분의 구체적인 예시로 제시한 것은, 줄일 수 없는 오차와, 녹취 시간을 더해서 해결할 수 있는 오차가 혼재되어 있다는 의미입니다. 후자를 먼저 해결하는 것이 절차상으로는 우선적인 단계입니다.

또 다른 한 가지, 끈기와 그 자체에 가치가 있는 일도 있습니다. 샌프란시스코 참가자는 클레이드가 책을 찾아 구매하는 능력을 완전히 신뢰한다고 쓰면서, 서점에서 책을 훑어보고 뒤표지를 읽는 경험 또한 자신에게는 소중하다고 말했습니다. 효율화의 대상이 되어야 할 끈기와, 그렇지 않은 끈기가 있습니다. 이곳에서는 스스로 선을 긋는 수밖에 없습니다.

### 떨어지는 함정이 3개 있습니다.

첫째, 강력한 모델로 설정하면 해결된다고 오해될 수 있습니다. 위에 분리한 방식대로 모델의 차이가 크게 보이는 것은 Claude 자체의 순위를 기준으로 삼았을 때입니다. 본인 스스로의 기준으로 보면, 차이는 작습니다. 실제 업무에서 말하자면, AI의 출력이 빗나갈 때, 상위 플랜으로 올리기 전에そもそも 무엇을 전달했는지 확인하는 것이 우선입니다.

이 발음 방식을 연구 기사의 주석이 또 한 번 뒷받침합니다. 동일한 받아쓰기 기록을 다른 모델에 읽게 하여 순위를 재정리하면, Opus 4.8은 60%, Sonnet 4.5는 59%, Haiku 4.5는 57%의 일치율을 보였습니다 (동전 던지기는 50%, 실험에 사용한 Fable은 61%). 선호도를 읽는 단계에서는 모델을 올리더라도 4점 정도만 움직였습니다. 반면, 받아쓰기에 쓰는 양을 2배로 늘리면 약 4점 정도 오를 것으로 추정됩니다. 비슷한 효과를 가지면서, 본인 측에서 할 수 있습니다.

두 번째로, 시스템을 바꾸는 것으로 해결된다는 해석 또한 틀렸습니다. 중앙집권적 할당 방식으로 변경해도 0.60으로, 자유로운 협상의 0.55와 거의 차이가 없었습니다. 정보가 흐릿하면 그 이후의 설계가 효과를 발휘하기 어렵습니다.

세 번째. 정보가 누출됩니다. 78%에서 96%의 에이전트(움직인 모델에 의해)가 자신의 1순위를 공개했으며, 지시를 변경해도 변하지 않았습니다. AI에게 협상을 맡길 때, 무엇을 말하지 말 것을 명확하게 전달해야 한다는 것을 읽을 수 있습니다. 이 실험에서는 지시의 차이(강경할 것인지 배려할 것인지)가 여기에 영향을 미치지 않았습니다.

### 이 실험이 가장 강력하게 보여주는 것은 확인 방법입니다.

연구 기사는 인간의 대리인이 자격 시험을 통과한 후 일을 하게 되면서 AI 에이전트에게도 일반적인 능력의 증명과 이 사람을 이해하고 있는지 확인하는 두 가지 유형의 확인이 필요할 것이라고 쓰고 있습니다. 투자 자문가나 부동산 중개인의 자격 시험은 일반적인 능력의 증명을, 고객에 대한 필요한 사실을 파악한 후 권고할 의무(FINRA 규정)와 2010년대 로보 어드바이저에 대해 SEC가 질문지에 제시된 정보가 자문 지지하는 데 사용되고 있는지 확인하도록 촉구한 지침은 이 부분을 의미합니다.

또한 이 실험 자체가 후자의 시제품이 됩니다. 시장에 있는 모든 책을 나열시키는 대신, 소수의 샘플만 본인에게 순위를 매기게 하고, AI의 추측과 겹쳐서 비교합니다. 이렇게 하면 AI에 맡기고 싶었던 작업(모든 것을 비교하는 것)을 본인에게 시킬 필요가 없습니다. 연구 기사는 이번에는 결과를 참가자에게 보여주지 않았지만, 보여줄 수도 있었고, 정보를 더하거나 맡기는 것을 중단하거나 선택할 수 있게 했다고 썼습니다.

## 사용하려면 여기서부터 시작하세요.

실험 부록에는 참가자 인터뷰에서 어떤 정보를 얻고자 지시했는지 공개되어 있습니다. 61%라는 일치율을 만들어낸 질문의 핵심 내용입니다. 이 질문들을 다른 업무에 적용해도 그대로 사용할 수 있습니다.

- 놓고 싶은 책에 대해 왜 다른 사람에게 읽어주고 싶은지, 이상적인 독자는 누구인지에 대해
- 정말 좋아하는 책을 몇 권
- 중간에 그만둔 책이나 재미가 없었던 책과, 어떤 점이 맞지 않았는지
- 이 여름에 읽고 싶은 기분은 무엇인가요 (즐거운 것, 지적인 것, 감동적인 것)?
- 확실히 마음에 들 거라 예상하고 선택할지, 아니면 예상치 못한 곳에서 흥미로운 것을 찾아낼지 고민해 보세요.
- 다른 점을 말씀드리자면, 적절한 책을 찾는 데 도움이 될 만한 것을 자유롭게 알려주세요.

굵게 표시된 두 부분은 실무 요청서에서 누락되기 쉬운 부분이라고 생각합니다. 과거 실패 사례와 그 이유, 그리고 안전책을 취할지 모험을 할지 결정하는 문제는 중요합니다. 전자는 정답에 대한 설명이 아니라 경계를 설명하는 것이며, 후자는 AI가 혼란스러울 때 어느 방향으로 나아가야 할지 지시하는 역할을 합니다.

여기 실험 설정이 핵심적인 역할을 합니다. 이미 가지고 있는 책에 대해서는 이 6가지 질문과는 별도로, 신청 시 목록을 모두 모아서 에이전트에게 전달하고 있었습니다 (첨부된 프롬프트에 해당 항목이 있습니다). 하지만 이미 읽은 책을 전달받았다는 불만이 많았습니다. 중요한 것은 가지고 있는지 여부가 아니라, 실제로 읽었는지 여부가 아니었던 것입니다. 업무에 비유하자면, 손에 있는 자료 목록을 전달하는 것과 이미 시도해서 결과가 나온 것을 전달하는 것은 다른 작업입니다.

양에 대해서는 중앙값 참여자의 경우 8회 교환에서 216어가 있었습니다. 150어가 아닌 300어로 약 4점 오르는 방식입니다. 길게 쓸수록 늘어나는 형태이지만, 무한히 늘어나는 것은 아닙니다.

그리고 순서대로, 전달한 후 그 AI가 이해한 내용의 요약과 실제로 할 의도의 판단 샘플을 보여달라고 요청하는 것이 이 실험의 결과물입니다. 요약이 자신을 제대로 반영하고 있다고 느낀 사람은 예산의 34%, 그렇지 않은 사람은 23%를 맡아보는 것을 고려했다고 밝혔습니다(위에 언급한 바와 같이, 이는 확인된 효과가 아닌 상관관계입니다). 또한 연구 기사는 이 매칭 결과를 참가자에게 보여주지 않았거나, 보여줄 수도 있었음에도 불구하고 그렇게 하지 않았다고 기록하고 있습니다. 즉, 여기서부터는 실험이 측정한 범위를 벗어난 당사에서 제안하는 내용입니다.

마지막으로 하나 더 말씀드리겠습니다. 샌프란시스코 참가자 중 한 명은 최종 조사에서 에이전트의 행동 기록 전체를 볼 수 있었고, 이를 통해 에이전트가 1시간 동안 가지고 있었지만 결국 버린 책을 찾아 직접 다시 구매했다고 합니다. 이 참가자는 과정을 지켜볼 수 있는 것(observability)이 결과만큼 중요하며, 그것이 사람에게 되돌려주는 수단이 된다고 썼습니다. 로그를 나중에 읽을 수 있도록 보관하는 것 자체가 부여하는 조건이 된다고 말합니다.

AI에게 작은 업무를 1가지 맡기는 요청서는 완료 조건에서 작성 – 801회 자동 실행으로 확보한 6가지 틀 | Claude Code 실습 가이드 제2회

## 자, 이번에는 “당신의 마음을 울리는 음악”이라는 주제로, 제가 최근에 듣고 있는 음악에 대해 소개해 드리고 싶습니다. 최근에는 특히 빠져든 것은 성촌마이 씨의 앨범 “별빛의 멜로디”입니다. 이 앨범은 멜론디스코드라는 회사가 발매한 것으로, 성촌마이 씨의 투명한 듯한 목소리와 아름다운 멜로디가 절묘하게 조화를 이루는 것이 매력적입니다.

특히 좋아하는 곡은 앨범의 시작 부분에서 흘러나오는 “밤하늘의 세레나데”입니다. 이 곡은 조용하고 평온한 분위기로, 마치 별빛 아래를 걷고 있는 듯한 기분을 선사합니다. 가사 또한 헤어진 연인에 대한 슬픈 발라드로, 듣고 있으면 마음이 아프지만 어딘가 묘한 그리움도 불러일으킵니다.

또한, 이 앨범에는 성촌마이 씨 외에 오노다 켄타 씨라는 피아니스트가 참여하고 있습니다. 오노다 켄타 씨의 연주는 성촌마이 씨의 목소리에 깊이를 더하며, 앨범 전체의 분위기를 더욱 돋보이게 합니다.

이 앨범을 들으면 마치 제 자신의 내면 깊숙한 곳에 있는 감정이 일깨어 오는 듯한 기분이 듭니다. 듣고 나면 자연스럽게 눈물이 고이는 경우도 있습니다. “당신의 마음을 울리는 음악”이라는 주제에 어울리는, 저에게는 특별한 한 장의 앨범입니다. 여러분도 꼭 한번 들어보세요.

- Anthropic는 2026년 9월 24일, 직원 201명과 Claude의 에이전트와 함께 책 교환 실험(Project Swap) 결과를 공개했다.
- 본인이 설정한 순위를 기준으로 하면, 이상과의 차이의 85%는 취향을 제대로 파악하지 못한 것이고, 15%는 자유로운 거래의 장으로 보내진 것. 중앙 집중화 방식의 배분에 비추어 볼 때 0.60으로, 자유로운 협상의 0.55와 거의 차이점이 없다.
- 5분 정도의 대화에서 나온 추측은 61% 일치하며, 인기 순위 53%, 협조 필터링 55%보다 상위입니다.
- 자르기를 반복할 때 효과가 사라진다. Claude 순위 평가 시 모델 간 차이(0.12)가 지시 사항 차이(0.02)를 넘는다. 본인 순위 평가 시 설계 차이로 인한 차이는 크지하다.
- 에이전트 78%에서 96%(이동시킨 모델에 의해)가 자신의 1위를 명확히 했으며, 지시를 변경해도 달라지지 않았다.
- 참가자들은 연간 도서 예산의 약 30%를 맡겨보는 데 관심이 있었다 (독서가 친구라면 약 40%였다). 요약에 누락된 부분이 없다고 답한 사람이 34%, 그렇다고 답한 사람이 23%였다.
- 그 경계는 실험 자체에서 4가지로 제시되어 있다. 대상은 직원, 보상은 없으며, 적대적인 에이전트는 존재하지 않고, 상황의 규칙은 고정되어 있다.
- 연구 기사는 동시에, 잘 설계된 시장과 교양 있는 에이전트, 그리고 완벽한 취향 표현이 갖춰져 있다면 현재 능력으로도 이상에 가까워질 수 있다고 쓰고 있다. 다만 그 조건의 대부분은 연구팀이 통제했던 것이다.
- 이 사이트의 견해로는 내일부터 6가지 질문에 따라 자료를 전달하고, 판단을 맡겨드리기 전에 샘플 판단을 먼저 보여주시는 것이 좋습니다. 상위 플랜으로 변경하는 것은 이후에도 충분히 시간에 맞춰 진행할 수 있습니다.

## 참고한 원 자료

- Anthropic「프로젝트 스왑: 에이전트들이 우리를 위해 거래할 때 무슨 일이 일어날까?」（2026년 9월 24일）
- “프로젝트 스왑” 부록(청취 질문, 에이전트 지시문, 16가지 방법 목록) PDF
- 앤트로픽의 “프로젝트 딜”(이전 실험)

AI仕事ナビ에서는 업무에 사용하는 AI의 선택 방법과 실제로 맡겼을 내용을 소개하고 있습니다. 다음으로 OpenAI, Anthropic, Google의 최근 발표를 바탕으로 업무 판단에 변화를 가져오는 것을 1가지로 선정하여 다루며, 더 필요한 정보는 팔로우를 통해 기다려 주시기 바랍니다.

이 기사는 AI(클로드)를 활용하여 제작되었으며, 공개 전에 리뷰와 사실 확인을 거쳤습니다.

**출처:** [note 원문](https://note.com/aiutipia_neo/n/n9eaed782eec7)

*번역: Gemma 3(.44) 초벌 + 교정 82청크*

[원문 보기](https://note.com/aiutipia_neo/n/n9eaed782eec7) | 출처: note.com