2026년 9월 18일, AI의 클로드(Claude)를 개발 중인 Anthropic이 컨설팅 거대 Accenture와 협력한다고 발표했습니다. Accenture의 평가팀이 직원과 거의 동일한 권한으로 Anthropic 내부 자산에 접근하여 AI의 안전성을 개발 중단 시점부터 검증하는 시스템을 구축하는 것입니다. 이 비용은 평가를 받는 측인 Anthropic이 직접 부담합니다.
이 영상에서는 이 메커니즘과, 같은 날 AI 연구자들이 서명하여 제출한 제안의 내용을 다루고 있습니다.
무엇을 올릴지 선택하는 것은 누구인가
이전 글에서는 OpenAI의 AI 에이전트가 외부 사이트에서 발생했던 문제들을 다루었습니다. 글의 마지막 부분에는 공급업체가 제3자 검증을 받고 있다는 내용이 있었고, 검증의 범위와 기간을 누가 결정했는지 문의했습니다.
이번 발표는 그 “누가 결정하는가”라는 점을 고려하여 평가 대상이 되는 회사가 스스로 나서서 개입하려 한 것입니다. Anthropic의 CEO 다리오 아모디는 9월에 공개한 에세이에서 자사의 모델 설명서와 위험 보고서가 수백 페이지에 달한다고 언급하며 이어 “그럼에도 불구하고, 무엇을 포함하고 무엇을 포함하지 않을지를 선택하는 것은 여전히 우리이다. 현장에 상주하는 평가자들에 의해 이 구조가 변경될 수 있다”라고 덧붙였습니다.
평가자는 무엇을 보고 무엇을 발표할 수 있는가
평가자에게는 회사 내에서 위험 평가를 담당하는 직원과 거의 동일한 작업 장소, 도구, 권한이 부여됩니다. 평가자는 완성된 AI뿐만 아니라 AI가 만들어지는 과정 중에도 확인하고 직원들과 직접 대화할 수 있게 됩니다. 평가팀에는 사무실 책상, 입관 증, 회사의 컴퓨터가 준비될 예정입니다.
공개에 대해서는 다음과 같습니다. 심사자는 위험의 정도, 사고, 내부 규정, 그리고 그들이 어디까지 접근했는지, 아니면 접근하지 못했는지에 대한 주요 결과를 Anthropic의 편집 없이 공개할 권한을 가집니다. Anthropic은 안전상의 기밀, 변호사와 교류와 같이 법적으로 비밀로 보호되는 정보, 상업상의 기밀, 제3자의 비밀 정보 등을 블랙아웃할 수 있는 제한된 권한을 가집니다. 다만, 불리한 이유만으로 결과를 삭제할 수 없으며, 블랙아웃으로 인해 결론에 중요한 것이 사라진 경우에는 심사자가 그것을 공개적으로 밝힐 수 있도록 합니다.
한편, 9월 18일 Anthropic의 발표문에는 평가자를 사내에 상주시키는 방식이 새롭고, 운영의 세부 사항은 아직 정리 중이라는 내용이 담겨 있습니다. 평가자가 어떤 것에 접근할 수 있어야 하는지, 발견한 내용을 어떻게 보고해야 하는지에 대한 기준 또한 아직 마련되지 않았음을 인정하고 있습니다.
같은 날, 연구진 등의 요청도 있었다.
Anthropic의 발표와 같은 9월 18일, AI Evaluator Forum이 AI 연구자 등의 서명을 모아 촉구문을 발표했습니다. 해당 촉구문은 9월 23일 기준으로 200명을 초과합니다. 촉구문에서 요구되는 독립의 최소 조건은 다음과 같습니다.
- 평가 기관이 AI 개발 회사를 소유하거나 운영하지 않는다는 점을 평가하는 것
- 개발 회사와 평가 외에 큰 거래를 맡지 않는 것
- 평가 결과에 따라 달라지는 보상이나 혜택을 받을 수 없습니다.
제안 과정에서는 평가자들에게 결과와 근거를 공개할 수 있는 것뿐만 아니라, 회사가 불리한 결론을 내리더라도 보복받지 않고, 자금 지원이 끊기지 않는 시스템을 구축하는 것 등이 요구되고 있습니다. 제안서 본문에는 특정 회사를 지칭하는 내용은 포함되어 있지 않습니다.
같은 주에 OpenAI도 원칙을 발표했습니다.
4일 후인 9월 22일에는 OpenAI도 제3자 평가 원칙을 공개했습니다. OpenAI는 이전부터 AI 개발 및 제공의 다양한 단계에서 외부 평가자와 협력해 왔습니다. 이번 문서에서 제시한 것은 공개 시점에 얽매이지 않고 수 주에서 수 개월에 걸쳐 진행되는 평가입니다. 평가자에게는 이해 상충을 명확히 밝히도록 요구하며, 상업적 요인이나 보수 결정이 결과에 영향을 미치지 않도록 견제해야 한다고 강조했습니다.
같은 문서에는 회사 측에서 인정하는 부분도 있습니다. 때로는 공표 전에 회사가 문제를 해결하기 위한 기간을 어느 정도 두기도 합니다. 또한 회사는 기밀 정보에 대한 과도한 폄하를 요구할 수 있으며, 평가자는 큰 폄하가 있었던 부분과 그것이 보고서에 어떤 영향을 미쳤는지 기록할 수 있습니다.
3개의 문서에서 얼마나 칠을 칠할 수 있는지 비교한 결과는 다음과 같습니다.
- 아모데이의 에세이 (“Anthropic”): 회사는 안전 및 상업적 기밀, 법적으로 보호되는 정보, 제3자의 비밀 정보 등 제한된 권한을 가지고 있으며, 불리하다고 판단할 경우에도 삭제할 수 없는 정보를 검토할 수 있습니다.
- OpenAI의 원칙: 회사는 기밀 정보의 블랙박싱을 요구할 수 있다. 평가자는 큰 블랙박싱이 존재하고, 그 영향에 대해 기록할 수 있다.
- 연구자 등의 요청에 따라 검토(블랙아웃) 절차에 기한을 설정하고 대상은 지적재산, 고객의 기밀, 개인의 사생활, 보안, 공공의 안전을 보호하는 데 한정합니다.
세 가지 모두 검 칠기를 인정합니다. 문제 있는 부분은 무엇을 지울 수 있는지의 범위와 검 칠 절차에 기한을 두는 것인지 여부입니다.
10억 달러는 계약 금액이 아닙니다.
Anthropic의 이야기를 다시 돌아가 보겠습니다. 발표에는 10억 달러라는 금액도 등장합니다. 이는 Anthropic와 Accenture가 각각 앞으로 5년 동안 AI의 안전성 분야에 최소 10억 달러를 투자할 계획이라는 숫자입니다. AI 업계 뉴스 사이트 implicator는 이것이 공개된 계약 금액이 아니라고 지적합니다. 그上で, 다음 사항은 모두 불명확하다고 쓰여 있습니다. Anthropic가 Accenture에 지불하는 금액, 평가가 시작되는 시기, Accenture의 팀 인원 수, 그리고 평가 결과가 Anthropic의 설명과 일치하지 않을 때 어떻게 대응할 것인지의 절차입니다.
받는 것은 평가받는 대상이며, 평가자와 거래 상대방이 모두 동일합니다.
Anthropic은 비용의 출처에 대해 장기적으로는 공동 기금이나 정부에서 부담해야 한다고 생각합니다. 현재 그 어느 쪽도 존재하지 않으므로, 평가자별로 자금 지원 방식을 다르게 합니다. Accenture의 업무에는 Anthropic이 직접 지불하며, METR과 같은 비영리 평가 단체와는 단체 측의 자금으로 평가자를 현지 파견하는 방식을 일부 시도하는 논의를 진행 중입니다. 파트너십은 독점적인 것이 아니며, 다른 평가자들도 수주 내에 발표될 예정입니다.
또 다른 한편으로, 두 회사에는 이전부터 거래가 있었습니다. 2025년 12월, Accenture와 Anthropic은 제휴를 크게 확장하여 약 3만 명이 훈련을 받는 전문 사업 그룹을 만들 것이 발표되었습니다. 기업의 AI 도입을 넓히기 위한 제휴입니다. 이 시점에서 Amadeus는 Accenture의 수만 명의 개발자들이 개발자를 위한 도구인 Claude Code를 사용하게 되며, 자사로서는 최대 규모의 도입이 될 것이라고 밝혔습니다. 평가자에게 선택된 회사는 평가받는 회사의 AI를 고객 기업에 확산하는 입장에 있는 것입니다. 연구자 등의 요청에 따르면, 개발 회사와 평가 외에 큰 거래를 하지 않는 것이 독립의 최소 조건 중 하나로 여겨졌습니다.
반론은 후방 지원과 급여 두 가지 사항에 관한 것이었습니다.
아모디는 에세이에서 현장에 파견된 평가자에게 은행업에 전례가 있다는 점을 지적하며, 규제 당국의 감독관이 직원들과 함께 은행에 들어가 보는 사례를 언급했습니다.
이에 반론한 것이 Tech Policy Press에 실린 논고입니다. 조지 워싱턴 대학교의 조교수가 9월 17일, 즉 Anthropic과 Accenture의 발표 전날에 쓴 논고로, 논점은 두 가지가 있습니다.
한 가지는 든든한 지원입니다. 은행 감독관이 거기에 있는 이유는 정부의 의무화 때문이며, 정부 감독과 엄격한 벌금의 가능성이 없다면 이러한 감시가 작동하지 않는다는 지적입니다.
또 다른 문제는 급여입니다. 조교수는 “누가 그들의 급여를 지불할 것인가. 그 급여는 경쟁에서 뒤지지 않는 수준인가?”라고 묻습니다. 예를 들자면, Anthropic이 경험이 없는 직종이라도 연봉을 40만 달러 정도 제시하고 있다는 점입니다. Anthropic에서 책상과 데이터를 들고, 직원들과 같은 수준으로 보고 있는데, 급여가 직원의 1/5라면, 결국 Anthropic의 채용 공고에 지원할 것입니다. 제3자의 평가자라는 말보다 훨씬 구체적인 질문이라고 생각합니다. 업계에 사람이 이주하는 통로가 되는지, 아니면 전혀 도움이 되지 않는지에 대한 질문입니다.
또한 아모데이는 역시 같은 에세이에서, 평가자를 현장에 배치한다는 첫걸음을 Anthropic이 독자적으로 약속한 것을 바탕으로, 다른 개발 회사에도 동일한 것을 요구하도록 정부에 요청하고 있습니다.
일본의 회계 감사를 위해서는
감사를 받는 측이 감사인의 보수에 관여하는 메커니즘은 일본의 회계 감사에도 존재합니다. 상법에서는 이사회가 감사인의 보수를 정할 때 감사위원의 동의가 필요합니다. 공인회계사법은 대기업 등으로부터 지속적으로 특정 업무로 보수를 받고 있는 회계사에게 동일 회사의 감사를 금지하고 있습니다. 받는 측이 보수를 결정하는 한편, 별도의 규정으로 독립성을 유지하고 있습니다.
회계 감사는 법적으로 정해진 틀 안에서 이루어지는 것이며, AI 평가자를 상주시키는 방식은 회사가 자발적으로 시작한 것이므로, 동일한 기준으로 비교될 수 없는 상황입니다. 또한, AI 평가에 대한 비용 산정 방식이 아직 정립되지 않았음을 Anthropic 측에서도 스스로 인정하고 있습니다.
이 뉴스를 통해 얻을 수 있는 교훈
- “제3자 평가를 받고 있다”는 말을 들었을 때, 그 평가자를 누가 선택하고 비용을 누가 지불하는지 묻는 것: 이번 경우에는 평가받는 쪽이 선택하고 평가받는 쪽이 비용을 지불하고 있습니다. Anthropic 자신도 장기적으로는 공동 기금이나 정부에서 부담하는 것이 옳다고 생각하고 있습니다.
- 평가자 및 평가 대상 회사 간에 다른 거래가 없는지 확인하는 것: 이번 평가자는 평가 대상 회사의 AI를 고객 기업에 확산시키는 파트너이기도 합니다. 연구진 등의 요구 사항 중 최소 조건으로 작용했던 점입니다.
- 평가에서 드러난 내용이 어느 정도 공개될지 확인하는 것은 이번에 언급된 세 가지 문서가 모두 검토를 인정했음을 의미합니다. 묻는 것은 검토가 있는지 여부가 아니라, 무엇을 검토할 수 있는지, 그 절차에 기한이 있는지, 그리고 검토자가 검토 사실을 말할 수 있는지 여부입니다.
앤서니스는 평가자들을 시스템에 포함시키는 데 한 걸음 더 나아갔습니다. 그 평가자들의 독립성을 누가 뒷받침할지는 앞으로 달려 있습니다.
마음 맞는 사람을 만나면, 그 사람의 이야기를 들려주면서 서로의 생각을 나누는 것이 좋겠습니다. 예를 들어, 『별의 정원』을 읽었을 때, 정말 감동을 받았고, 그 말은 제 마음속에 깊이 와닿았다는 표현이 적절하지 않을까 생각합니다. 잊을 수 없는 말이었고, 지금도 제 인생관에 영향을 주고 있습니다. 특히 ‘사람은 볼 뿐이고 아무런 변화도 가져오지 않는다’는 말은 정말 깊이 생각하게 만들었습니다. 그 별의 정원 소년의 순수한 마음과 별을 소중히 여기는 모습은, 우리 어른들도 한 번 멈춰서 진정으로 중요한 것이 무엇인지 다시 생각해 보게 하는 계기가 되었습니다. 저도 그렇게 생각합니다.
- 앤서니(Anthropic)는 Accenture와의 협력을 통해 ‘내재화된 평가’를 추진한다 (2026년 9월 18일).
- 2026년 9월에 출간될 다리오 아마데이의 “우리는 국경을 따라 속도를 맞춰야 한다”라는 책에 대해 최근에 꽤 흥미로운 이야기를 들었습니다. 아마데이는 2024년 5월에 런던에서 열린 ‘인공지능과 미래’ 컨퍼런스에서 챗GPT와 같은 대규모 언어 모델(LLM)이 우리 사회에 미치는 영향에 대해 깊이 있는 논의를 진행했습니다.
아마데이는 특히 LLM의 ‘지속적인 학습’ 능력이 매우 중요하다고 강조하며, LLM이 단순히 초기 학습 데이터를 암기하는 것이 아니라 끊임없이 새로운 정보를 습득하고 변화하는 환경에 적응해야 한다고 주장했습니다. 이러한 능력이 LLM의 성능을 극대화하고 우리 사회에 더 큰 혜택을 가져다 줄 수 있다고 믿었습니다.
아마데이는 또한 LLM의 발전 속도가 매우 빠르기 때문에 우리는 이러한 변화에 발맞춰 적절한 정책과 규제를 마련해야 한다고 주장했습니다. LLM이 사회에 긍정적인 영향을 미치도록 하기 위해서는 기술 개발과 함께 윤리적, 사회적 측면을 고려해야 한다고 강조했습니다.
아마데이는 이러한 논의를 통해 LLM의 잠재력을 최대한 활용하고 동시에 발생할 수 있는 위험을 최소화하기 위한 전략을 모색해야 한다는 점을 강조했습니다. 그는 앞으로 LLM이 우리 사회의 다양한 분야에서 혁신을 이끌어낼 것이라고 기대하며, 이러한 혁신이 지속 가능한 방식으로 이루어지도록 노력해야 한다고 주장했습니다.
- 2026년 9월 18일, Accenture와 Anthropic이 Anthropic 내에 구축될 평가팀을 공동으로 구축하기로 파트너십을 체결했습니다. 이 팀은 Anthropic의 모델 평가 프로세스에 대한 심층적인 통찰력을 제공하고, 모델의 성능 개선에 중요한 역할을 수행할 것입니다. 특히, 이 팀은 다양한 산업 분야의 전문가들로 구성되어 Anthropic의 최신 AI 모델이 실제 사용 환경에서 어떻게 작동하는지, 그리고 어떤 개선이 필요한지 면밀히 평가할 예정입니다. Accenture는 Anthropic의 AI 모델 개발 및 평가 역량 강화를 위한 핵심 파트너로서, 기술 전문성과 글로벌 네트워크를 바탕으로 Anthropic의 혁신적인 AI 기술 발전에 기여할 것입니다.
- 2025년 12월 9일, Accenture와 Anthropic이 기업 AI 혁신과 산업 전반에 걸친 가치 창출을 위해 다년 간의 파트너십을 시작한다고 발표했습니다.
- AI 평가자 포럼「최소 조건: 평가자 통합」（2026년 9월 18일 발표, 9월 23일 업데이트）https://aievaluatorforum.org/initiatives/embedded-evaluation-letter
- OpenAI「제3자 평가를 위한 우선순위 및 원칙」（2026년 9월 22일）https://openai.com/index/priorities-principles-third-party-assessments/
OpenAI는 제3자 평가의 우선순위 및 원칙을 다음과 같이 정의합니다.
**우선순위**
1. **투명성:** 평가 프로세스 전반에 걸쳐 투명성을 확보합니다. 평가 기준, 방법론, 결과, 그리고 OpenAI가 평가 결과에 어떻게 대응할 것인지에 대한 정보를 명확하게 공개합니다.
2. **독립성:** 평가자는 OpenAI와 독립적인 입장을 유지하며, 객관적인 관점에서 평가를 수행합니다. 평가 과정에서 OpenAI의 내부 결정이나 정책에 영향을 미치지 않도록 합니다.
3. **전문성:** 평가자는 해당 분야에 대한 깊이 있는 지식과 경험을 갖춘 전문가로 구성됩니다. 기술, 윤리, 법률 등 다양한 분야의 전문가를 활용하여 포괄적인 평가를 수행합니다.
4. **반복성:** 평가 프로세스는 반복 가능하도록 설계되어, 시간이 지남에 따라 지속적으로 개선될 수 있도록 합니다. 평가 결과에 따라 OpenAI는 정책 및 제품 개발에 반영합니다.
**원칙**
1. **책임성:** OpenAI는 제3자 평가 결과에 대한 책임을 지며, 평가 결과에 따라 필요한 조치를 취합니다.
2. **공정성:** 평가 과정은 모든 이해 관계자에게 공정하게 적용됩니다.
3. **협력:** OpenAI는 제3자 평가자와 긴밀하게 협력하여 평가 목표를 달성합니다.
4. **지속적인 개선:** OpenAI는 제3자 평가를 통해 얻은 정보를 바탕으로 지속적으로 제품 및 정책을 개선합니다.
OpenAI는 이러한 우선순위와 원칙을 바탕으로 제3자 평가를 통해 안전하고 책임감 있는 AI 개발을 추진할 것입니다.
- 아마데이 씨는 딥러닝 분야의 선두 주자로서, 그의 연구는 특히 OpenAI의 GPT-3와 같은 대규모 언어 모델의 발전에 크게 기여했습니다. 그는 이러한 기술의 잠재적 위험에 대해 깊이 고민하며, 기술 발전이 사회 전체에 미치는 영향에 대한 책임감 있는 논의를 촉구했습니다. 그는 ‘기술 발전은 항상 긍정적인 결과만을 가져오는 것은 아니다’라는 점을 강조하며, 기술의 윤리적 문제와 사회적 영향에 대한 지속적인 관심을 당부했습니다. 특히, 아마데이 씨는 AI의 오용 가능성에 대한 경각심을 일깨우고, 기술 개발 과정에서 인간의 가치와 안전을 최우선으로 고려해야 한다고 주장했습니다.
- 2026년 9월 20일, implicator.ai는 앤트로픽(Anthropic)이 첫 번째 내장 평가자(embedded evaluator)로 Accenture를 선택했으며, 이 작업에 대한 비용을 부담하기로 발표했다.
- 식회사법 제399조(회계검토인의 보수 등 결정에 관한 감사위원의 참여)
- 공인회계사법 제24조의2 (대회사 등 귀속 업무 제한의 특례)
출처: note 원문
번역: Gemma 3(.44) 초벌 + 교정 39청크
원문 보기 | 출처: note.com