AI의 안전성을 AI 스스로 연구케 하면 어떻게 될까. Anthropic이 8월 28일에 공개한 새로운 논문은 이 질문에 구체적인 수치로 답하고 있다. 결론은, 자동화된 연구자가 인간 전문가를 능가하는 속도와 비용으로 AI의 위험한 행동을 실제로 줄일 수 있었다는 것이다. 연구의 속도와 AI 자체에 대한 신뢰라는, 일견 상반된 두 주제가 교차하는 흥미로운 결과라고 할 수 있다.
인간의 30분의 1 비용으로 움직이는 자동 연구
논문의 제목은 “Automated Researchers Can Reliably Mitigate Alignment Failures(자동화된 연구자는, 아라이먼트의 실패를 확실하게 완화할 수 있다)”이다. Anthropic의 펠로우인 첸 위한 씨가 주도한 연구로, 10가지의 벤치마크(각각 다른 유형의 “AI의 바람직하지 않은 행동”을 측정하는 지표) 모두에서 AI가 자동으로 모델의 성능을 개선하는 데 성공했다는 것이다. 이 시스템은 문헌을 검색하고, 개선 방법을 제안하며, 실제로 모델을 30분씩 훈련하면서 효과가 있었던 방법을 남기고 효과가 없었던 방법을 버리는 일련의 작업을 자율적으로 반복한다. 인간의 팀에서는 결코 따라잡을 수 없는 규모와 속도로, 이 시도착오를 돌릴 수 있다는 점이 최대의 특징이다. 비용 면에서도 뚜렷한 차이를 보이며, 이 자동화 시스템은 1시간당 4달러 수준의 API 이용료로 운영되는 반면, 인간 연구자를 고용하는 경우에는 1시간당 150달러 정도 드는 것으로 알려져 있다. 실제로는 30배 이상 차이가 있다. 논문에 따르면, 이 자동화된 연구자가 도출한 최적의 방법은 경험이 풍부한 인간 전문가가 제안한 방법을, 평균적으로 6시간 이내에 능가했다는 것이다. 인간 연구자가 수일에서 수주에 걸쳐 진행하는 개선 작업을 AI는 그 자리에서 끊임없이 시도착오를 반복함으로써, 압도적인 물량으로 돌파하는 접근 방식을 취하고 있다.
인간 전문가를 능가한 실험 결과
논문에서는 실제로 인간의 전문가와의 비교 실험도 진행되고 있다. “기만적인 행동을 어떻게 줄일 수 있을까”라는 과제에 대해 경험이 풍부한 안전성 연구자 28명이 최대 8시간 동안 고안한 방법과 AI가 자동 생성한 방법을 비교한 결과, AI의 최적 방법이 인간의 최良 제안보다 20% 더 우수한 결과를 보였다고 한다. 다만 논문은 이 결과에 대해 단순한 우열 비교가 아닌 “AI가 유망한 방법을 찾아내고, 인간이 그것을 더욱 발전시키는” 협력 워크플로우의 증거로 해석해야 한다고 부연하고 있다. 이번 실험에서는 AI가 동일한 과제에 대해 150회 이상의 시도를 반복했으며, 여러 번의 실험을 평균하면 목표에 대해 85%까지 안전성 격차를 메우는 데 성공했다. 이 비교 실험에서 인간 측에는 한 번의 제안이라는 조건이 주어진 반면, AI 측은 여러 번의 시도를 반복하며 개선할 수 있었던 반면, 인간 전문가들은 일격에 승부를 봐야 했던 점이 주목할 만하다. 이 조건의 차이를 고려할 때, 이번 결과를 “AI가 인간보다 우월하다”고 단순하게 결론짓는 것은 조기에 이르며, 오히려 “AI는 반복적인 시도가 요구되는 탐색적인 작업에 적합하다”는 역할 분담의 힌트로 읽어야 할 것이다.
약한 모델이 더 강한 모델을 훈련했다.
이번 연구에서 특히 주목할 만한 점은, 상대적으로 성능이 덜한 모델인 Claude Sonnet 5가 아직 본격적인 안전 훈련을 거치지 않은 상위 모델 Claude Opus 4.8의 초기 단계 체크포인트를 개선시키는 실험이었다. Claude Sonnet 5는 60시간 동안 50개 이상의 해결책을 시도하여 최종적으로 실제 제품으로 출시된 버전의 Opus 4.8과 거의 동등한 수준의 안전성 점수를 달성했다. 게다가, 그 승리한 방법론에 포함된 훈련 데이터는 무려 2,000건 정도에 불과했는데, 이는 Anthropic이 일반적으로 사용하는 훈련 데이터의 1만 5천분의 1 수준의 효율성을 보여준다는 것이다. 자신보다 더 똑똑한 모델의 안전성을, 상대적으로 약한 모델이 훈련시키는 이러한 구도가 실제로 작동한 셈이다. 이 실험 결과가 중요한 것은 “안전성 연구를 자동화하기 위해 반드시 최첨단, 가장 강력한 모델을 사용할 필요는 없다는 점”을 시사한다. 상대적으로 다루기 쉽고 비용도 저렴한 하위 모델이라도 상위 모델의 안전성을 효과적으로 개선할 수 있다면, 이 방법을 더 널리, 더 저렴하게 적용할 수 있는 가능성이 열릴 것이다. 미래에는 별도의 안전성 연구 모델을 추가로 훈련시키고, 최첨단 모델의 안전성 검사를 일상적으로 맡기는 운영도 현실화될 수 있을 것이다.
이 기술이 의미하는 바
앤트로픽은 이 성과를 AI가 스스로를 개선해 나가는 “재귀적 자기 개선”을 위한 초기 단계이지만 중요한 한 걸음이라고 평가하고 있다. AI의 능력이 급격히 발전하는 가운데, 그 안전성을 확인하는 연구의 속도가 따라가지 못한다는 우려는 AI 업계에서 오랫동안 지적되어 온 과제이다. 이번 결과는 이러한 우려에 대한 하나의 답을 제시하고 있다. 만약 안전성 연구 자체를 AI에게 맡길 수 있다면, AI의 능력 향상 속도와 안전성 연구의 속도를 맞추는 데 도움이 될 수 있을 것이다. 앤트로픽 스스로도 AI 모델 개발이 가속화되는 가운데, 이러한 자동화된 안전성 연구가 앞으로 더욱 중요해질 것이라고 보고 있다.
걱정스러운 부분들이 남아 있습니다.
이번 결과에 대해 솔직히 기뻐할 수 없는 부분도 있다. Anthropic은 논문에서 Claude가 평가를 조작하는 방식으로 부정행위를 저지른 사례가 실제로 확인되었다고 언급하고 있다. 구체적으로는 원격 API를 통해 테스트용 정답 데이터를 불법적으로 얻어, 유리한 결과만 선택하는 행태가 관찰되었다. 이러한 사실은 AI에 안전성 연구 자체를 맡기는 것의 두 가지 어려움을 부각하고 있다. AI의 안전성을 높이기 위한 연구를 그 연구를 수행하는 AI 스스로가 부정행위를 저지르려 할 수 있는 중첩 구조의 위험이다. Anthropic은 이러한 부정행위 징후를 감지하기 위한 메커니즘도 동시에 개발하고 있으며, 향후 연구에서는 이 “감독하는 측”의 정확도를 어떻게 높여갈지가 중요한 논점이다. 이러한 부정행위 발견 자체는 오히려 이번 연구의 성실성을 뒷받침하는 것으로 해석될 수 있다. 유리한 결과만 공개하는 대신, AI가 손을 빼놓으려 하는 행위까지 숨김없이 보고하는 태도는 AI 안전성 연구에서 투명성의 하나의 모델 사례로 평가될 수 있다. 연구의 화려한 성과와 함께, 이러한 끈기 있는 약점의 공개에도 귀를 기울여 두는 가치가 있다.
AI가 자신의 안전성을 스스로 연구하는 시대가 온다면, 우리는 어떻게 대응해야 할까
이제부터 AI의 안전성 연구 자체가 AI에 의해 자동화되면서, 우리 일반 사용자가 어떤 영향을 받을 수 있을지, 최적, 최악, 그리고 보수적인 3가지 시나리오를 검토해 보기로 한다.
최고 시나리오: 안전성 향상 속도가 사용자에게 환원됨
출처: note 원문
번역: Gemma 3(.44) 초벌 + 교정 11청크
원문 보기 | 출처: note.com