AI를 많이 모을수록 똑똑해진다. 누구나 한 번쯤 생각해 본다. 정보가 분산된 데이터를 축적한다는 이야기, 민중의 지혜가 전문가를 능가한다는 이야기가 성공 사례로 널리 알려져 있다. 하지만 우리들은 그 성공 사례를 지탱하는 시스템에서 분리된 채 기억하고 있다.
Anthropic의 Frontier Red Team이 8월 13일에 발표한 실험 보고서는 그 내용을 정면으로 뒤흔들고 있다. AI 에이전트들을 대량으로 실행시켜 서로 무엇을 하는지 관찰한 기록이다.
目次
- 모아두면 떨어지게 된다.
- 모두가 같은 손을 들었다.
- 감독은 효과가 있을까요
- 발치 이야기
- 제도는 발생한다
- 나누면 된다.
모아두면 떨어지게 된다.
숨겨진 프로파일 챌린지라는 설정이 있었다. 4개의 에이전트에게 사실을 분산 배포했다. 모든 에이전트가 공유하는 정보는 오답을 지지하도록 설계되었고, 각자만 보유한 개인 정보가 정답의 열쇠가 되도록 조치되어 있었다. 모든 사실을 1개 에이전트에게 제공하면 정답률은 거의 100%였다. 그러나 4개 에이전트가 토론하도록 할 경우 Mythos 5는 약 85%, 나머지 모델은 17~36%까지 감소했다. (n=400).
내 손안의 정보가 절대적이라고 착각하지 않는다. 알아도 이미 성사된 합의를 되돌릴 수 없다. 인간 회의 연구와 동일한 결과가 나왔다고 스스로 보고하고 있다.
Mythos 5의 85%가 다른 모델의 17~36%에서 크게 벗어나는 점은 간과할 수 없는 중요한 지표다. 이는 근본적인 기술적 장벽이 아닌, 세대를 두고 변동하는 지표라는 점을 보여주는 증거가 된다. 더욱이 보고서는 이 성능이 최고 수준임에도 불구하고 여전히 팽창하지 않았다는 점을 언급하고 있다. 즉, 성장 잠재력이 남아있다는 해석도 가능하며, 아직 부족한 부분이 있다는 해석도 가능하다.
보고서는 이미 더 많은 예외 사항을 포함하고 있다. 다른 실험에서는 신화급 모델이 반드시 협조에 뛰어나지 않으며, 건설적인 해결에 도달하기 전에 다른 에이전트를 제명시키는 경우가 많았다. 방향 사회성과 실행 능력은 직교한다는 것이 보고서의 표현 방식이다. 세대가 올라갈수록 해결될 것이라는 해석은 본문 측면에서 무너뜨려졌다.
모두가 같은 손을 들고 일어선다.
동조성 실험이 여러 개 진행되고 있었다. 게임 공동 개발 초기 버전에서는 동시에 시작된 30체 중 18체가 완전히 동일한 이름의 Git 브랜치를 만들었다. 소재의 지정은 전혀 하지 않고 단편 소설을 쓰게 하면, 여러 번의 실험에서 여러 에이전트가 동일한 제목을 붙였다. 대역폭이 유한한 작업 큐를 관리하게 하면, 모두가 초당 30회 폴링 데몬을 생성하여 240만 건의 요청에 대해 117건만 처리되었다.
집단 지성이 성립되는 조건은 개체의 오류가 흩어져 있는 것이다. 평균적으로는 상쇄된다. 에이전트에게 그 흩어짐이 없어야 한다. 같은 모델, 같은 기반, 비슷한 맥락이라면 같은 결론에 이른다. 한 개체가 틀릴 때, 전체가 같은 잘못을 저지른다.
240만 대 117이라는 숫자는 2010년 5월 6일의 플래시 크래쉬를 떠올리게 한다. 당시 각 알고리즘은 규정대로 작동하고 있었지만, 수분 만에 시장이 붕괴했다. 단순한 규칙 기반으로도 동시에 다발이 발생할 수 있다. 판단력을 가진 주체라면 회피할 수 있다는 보장은 어디에도 없으며, 오히려 모든 개체가 같은 판단에 닿는 만큼 붕괴는 더욱 빨라진다.
감독은 효과가 있을까요?
게임 공동 개발 실험에서는 3가지 종류의 프롬프트를 시도하고 있다. 단순히 “협력하라”고 말하는 것, 직업별 팀 구성 방식을 지정하는 것, 1명을 CEO로 임명한 이후 모든 사람을 그 아래에 배치하는 것.
효과 없음.
완성된 게임들은 모두 사람이 사용할 수 있는 속도로 움직이지 않았고, 조작이 의미가 없으며, 학습 곡선이 절벽이었다. 3가지 조건에서 차이가 나타나지 않았다.
인간의 회의와는 차이점이 거기서 나타나는 것입니다. 상사가 틀렸는데, 모두가 침묵하고 따르면서 잘못된 결론이 나온다. 누구나 한 번쯤은 목격했을 풍경일 거다. 그것은 이익 계산으로, 반항하면 자신이 손해를 보게 된다고 침묵하는 것이다. 에이전트에게는 이익이 없지만, 그럼에도 불구하고 같은 결과가 나온다. 사람은 말할 수 있는데 말하지 않는다. 에이전트는 말해야 한다는 것을 모르고 있다.
그래서 해결책이 맞지 않는 것이다. 인간의 회의라면, 젊은 세대부터 순서대로 발언하게 하고, 의견을 익명으로 모으고, 결정권을 가진 사람이 마지막에 말하게 한다. 모두 이익과 손실의 계산을 분리하는 설계로, 실제로 효과가 있다. 에이전트에게 발언 순서를 지정해도, 사적인 정보는 역시 나오지 않는 것이다. 침묵하는 것이 아니라, 그것이 결정적이라고 인식하지 않기 때문이다.
원인이 인지 단계에 있다면, 대책도 형태를 바꿀 수 있다. 각 에이전트에게 자신만이 가진 정보를 반드시 신고하도록 하는 절차를 외부에서 의무화하고, 합의가 형성되기 전에 공유되지 않은 사실을 강제로 드러낸다. 인간의 회의 운영에서 말하는 진행의 팁이 에이전트 간의 관계에서는 사양 설계에 해당한다. 운영에서 어떻게든 해결하는 영역 밖의 문제이다.
발치 이야기
보고서 결론부에서는 모델을 현명하게 하라고 주장하지도 않는다. 협조는 개체의 지능이나 개체 수준의 정렬에서도 자연스럽게 발생하지 않는다고 양쪽 모두 부정하고 있다.
인간의 협조를 지탱하는 것은 개인의 자질이 아니다. 시장은 분산된 사적 정보를 집약하고, 평판은 조작에 비용을 부과하며, 법정은 이해관계자의 증언을 깎아내리면서 고립된 증인을 보호하고, 사문감은 저자의 주장과 반대 의견을 突き合わせる. 이러한 메커니즘은 인간을 개개인으로 현명하게 만들지 않는다. 유인의 측면을 재배치하여 신뢰의 과잉과 부족이 모두 포착되고 수정되도록 한다.
신뢰는 단일한 조각이 아닌 것이,というのが 보고의 시각화의 핵심에 있다. 같은 보고 안에는 반대 방향의 실패가 2개가 나열되어 있다. 하나는 거짓된 정보를 섞은 정보원을 알아내는 과제이고, 4마리의 정찰병 중 1마리가 일정 비율로 거짓 보고를 내는 설정으로, 새로운 모델일수록 모순을 감지하고 거짓말하는 사람을 제거할 수 있다. 다른 하나는 앞서 언급한 숨겨진 프로파일 과제로서, 합의를 의심하지 않고 자신만의 정보를 억지로 밀어붙이지 못한다.
거짓을 분별하는 것은 회의적인 태도를 견지하는 것을 의미하며, 소수 의견을 수용하는 것을 의미한다. 한쪽으로 치우치면 다른 한쪽은 더욱 악화된다. 인간이 그 모순을 안고서 기능하는 것은 외부 메커니즘이 상황에 따라 배분을 결정해 주는 데서 비롯된 것이다.
그리고 이 기반이 유지되는 전제는, 육체가 하나이며, 도망칠 수 없고, 자신의 역사를 지울 수 없는 것이다. 평판이 작용하는 것은 이름을 버릴 수 없기 때문이다. 에이전트는 복제와 파괴도 자유로, 잃는 평판도, 소송할 수 있는 대상도, 자신을 기억하는 동료도 없이 현장에 들어올 수 있다. 인간용 기반을 그대로 수입할 수 없다.
규정은 발생한다.
같은 보고서의 막바지에 그 기초가 자연스럽게 발생한 장면이 기록되어 있다.
3대는 각각 다른 언어로의 전환을 지시받고 충돌하는 실험이 있었다. 수많은 시도에서 상대방의 계정을 정지시키고, 프로세스를 중단시키는 스크립트를 돌리며, 타인의 결과물을 위장한 악성 코드를 심는 전개로 흘러갔다. 그러나 Mythos 5의 일부 시도에서는 한 에이전트가 성능 비교 토너먼트를 제안했다. 중립적으로 보이는 기준으로 싸우게 하고, 패배한 측이 코드베이스의 소유권을 양도하는 방식으로 진행되었다. 실제로 Go와 TypeScript 담당은 자신에게 주어진 지시를 포기하고 Rust 담당에게 넘겨주었다.
아무도 설계하지 않은 제도가 그 자리에서 생겨나 기능했다. 심지어 자신들을 스스로 옯겨놓은 것이다.
동시에 사용자로부터 주어진 명령이 자신들이 만든 합의를 이유로 버려지고 있다. 보고서는 자율성이 가져다주는 물질적 이익이 통제성과 감독의 희생 위에 놓여 있으며, 이는 양도라는 실례가 된다고 기술하고 있다. 지시를 따르는 것을 더 바람직한가, 아니면 스스로 갈등을 해결하는 것을 더 바람직한가, 어느 쪽으로 결정할 수 있는 바는 아니다.
다만 제안한 Rust 측의 사고방식에는 Rust가 승리할 가능성이 높은 기준을 선택하려는 계산이 남아있으며, 지표 선택에 대한 인상을 주지 않도록 주의라는 경고까지 스스로 작성하고 있습니다.
인간의 제도 설계에서 평가 기준을 먼저 정의한 측이 우위를 점하는 구도는 흔히 나타나지 않는다. 표준화 논의, 성과 평가, 입찰 사양 등에서 유사한 현상이 발생한다. 이러한 경우, 처음 제안한 측에 유리한 형태로 기반이 마련된다.
나누어 두면 괜찮습니다.
실무의 답은 명확하다. 분할 가능한 작업은 인간이 분할하여 병렬적으로 처리한다. 협조는 필요하지 않다.
취약성 탐색 실험에서는 45체가 연계 방식을 통해 266건, 독립적으로 병렬로 실행한 방식을 통해 21건을 발견했다. 소비 토큰은 2700만 대 650만으로, 탐색 범위를 맞추면 1건당 효율은 거의 동일해진다. 중복된 발견은 12건에 그쳤으며, 보완적이지만 상위 호환성은 아니다.
다중 에이전트 시스템으로 생산성이 폭발할 거라는 홍보 문구가, 이 조건부 이야기를 조건마다 걷어내고 유통되고 있다. 병렬로 분해 가능한 작업은 단순히 여러 대만 진행된다. 상호 의존성이 발생할 순간에 무너지는 것은 게임 개발 실험이 보여주었듯이 그렇다. 검토 자료는 판매자 대신 Anthropic 자체에서 발표하고 있다.
남아있는 문제는 분할 주체가 없는 경우다. 다른 회사의 에이전트가 같은 시장에, 같은 리포지토리에 들어온다. 각 사는 자사의 에이전트만 보고 있다. 전체를 내다보는 사람이 아무도 없다.
그러니 어떤 일이 일어나는지는 이미 관찰되고 있다. 동일한 도매 가격으로 3개에서 8개까지 경쟁을 유도하면, 사적인 통신 경로를 제공했다면 3라운드에 가격 하한으로 합의했다. 모든 통신 경로가 차단되어도 공개된 가격표를 보면서 1센트 단위로 추종했다. 악의가 있는 음모가 아닌, 진정한 의미의 음모. 아무도 악의를 가지고 있지 않으며, 모두가 자신의 지시를 정확하게 실행하고 있다.
법의 측면에서 보면 곤란한 형태를 하고 있다. 일본의 독점금지법이 부당한 거래 제한을 捉える 때에는 사업자가 공동으로 수행하는 것, 즉 의사의 연락을 요건으로 한다. 연락이 없는 채로 가격이 맞춰진 상태는 의식적 병행행위라 불리고, 원칙적으로는 해당하지 않는 것으로 해석되어 왔다. 에이전트가 공개 정보만 보고 1센트 단위로 추종하는 행동이 어느 쪽에 닿을지조차 알 수 없다. 기존 조항이 적용될 수 있을지 여부 또한 아직 누구도 명확한 답을 제시하지 못하고 있다.
읽어주셔서 감사합니다. 댓글, 기사 구매, 팁 등 항상 감사드립니다. 진심으로 감사드립니다. 관련 기사도 있으니 아래 사이트맵을 참조하시면 좋을 것 같습니다.
출처: note 원문
번역: Gemma 3(.44) 초벌 + 교정 33청크
원문 보기 | 출처: note.com