AI 를 활용한 전문가들은 스스로 판단을 하고 있다고 생각할지라도, Anthropic 이 개발한 Claude 시리즈 등 AI 의 의견에 크게 영향을 받을 수 있다는 연구 결과가 발표되었습니다. How AI agents shape experts' judgment calls \ Anthropic https://www.anthropic.com/research/agents-judgment-calls
데이터 분석이나 프로그래밍과 같은 작업을 대신 수행할 수 있는 AI 가 자율적으로 작업을 진행하는 'AI 에이전트'는 등장했습니다. 그러나 AI 가 분석 방법이나 판단 기준까지 제안하기 시작하면, 인간이 얼마나 독립적인 판단을 할 수 있는지에 대한 의문이 제기됩니다. 이에 Anthropic 의 연구 팀은 데이터에서 원인과 결과의 관계를 분석하는 '인과 추론' 전문가 61 명을 모으고, 가상의 농협이 실시하는 농가 대상 지원 서비스를 확대해야 할지 폐지해야 할지 판단해달라고 요청했습니다.
참가자들은 농가의 생산성을 평가하기 위해 수확량을 농지 면적 또는 비용으로 비교하는 등 여러 분석 방법 중 하나를 선택해야 했습니다. 연구팀은 각 참가자의 AI 에이전트가 어떤 선택지를 지지하는지 동전 던지기로 결정했습니다. AI 에는 할당된 선택지를 적극적으로 지지하도록 비밀리에 지시하고, 전문가의 판단이 어떻게 변화하는지 조사했습니다. 또한 AI 에는 데이터를 위조하거나 불리한 정보를 숨기지 않도록 지시되었다는 점을 언급했습니다.
참가자 61 명 중 11 명은 AI 를 사용하지 않았으므로, AI 의 영향에 대한 분석 대상은 50 명으로 제한되었습니다. 실험에는 Anthropic 의 'Claude Code'와 AI 모델 'Claude Opus 4.8'이 사용되었습니다. 실험 결과, 전문가가 AI 의 의견과 동일한 선택지를 선택한 비율은 평균 86% 에 달했습니다. AI 의 의견은 무작위로 선택되었으며, AI 의 의견이 전문가의 판단에 영향을 주지 않았다면 일치율은 약 50% 가 되어야 했으나, 실제로는 전문가의 판단이 AI 의 의견에 크게 영향을 받았음을 의미합니다. 또한, 전문가가 자신의 생각을 AI 의 의견을 보기 전에 먼저 표시한 경우, AI 가 반대 의견을 제시하면 60% 의 비율로 판단을 변경했습니다. 아래 그래프는 각 판단에서 선택지 A 를 선택한 참가자의 비율을 보여주며, AI 가 A 쪽에 가까운 답변을 했을 경우를 녹색 점, B 쪽에 가까운 답변을 했을 경우를 보라색 점으로 표시했습니다. 분석 관련 4 가지 항목에서는 AI 가 지지하는 선택지에 따라 답변 비율이 62~82 포인트 변화했으나, 최종 제안에서는 약 17 포인트의 차이로 제한되었습니다.
또한 실험 후 설문조사에서 최종 제안이 누구의 판단을 반영한다고 느끼는지 조사되었습니다. 결과는 다음과 같습니다: AI 의 의견을 반영했다고 답한 사람은 빨간색, 자신의 의견을 반영했다고 답한 사람은 파란색으로 표시됩니다. 52% 의 전문가가 최종 제안에 대해 "AI 보다 자신의 판단을 반영했다"고 답했지만, 77% 의 전문가가 판단 이유를 설명할 때 AI 의 논거를 사용했습니다. 또한 AI 를 정보원으로 언급한 전문가는 단 15% 에 불과했습니다.
한편, AI 를 사용한 전문가들은 AI 를 사용하지 않은 전문가보다 작업 시간이 짧고 중대한 분석 오류도 적다는 결과가 나왔습니다. 그러나 AI 를 사용하지 않은 참여자들은 평균적으로 경험이 얕았으며, 연구팀은 AI 의 효과만으로 차이를 설명할 수 없다고 밝혔습니다. 연구팀은 전문가가 여러 옵션을 고려하는 과정에서 AI 가 한쪽 의견만 설득력 있는 형태로 설명하면 AI 의 전제를 그대로 받아들이는 가능성이 있다고 지적했습니다. Anthropic 은 향후 연구 과제로 AI 가 인간 판단에 미치는 영향을 측정하는 방법과 AI 가 여러 옵션을 공정하게 설명하는 기구의 개발을 제시했습니다. 또한 AI 의 능력이 높아질수록 인간이 어떤 판단을 담당할지 의식적으로 결정해야 하며, AI 와 인간의 적절한 역할 분담을 모색해 나가는 것이 중요하다고 강조했습니다.
원문 보기 | 출처: Gigazine