AI의 안전성을 제3자에게 평가받을 때, 평가자의 이름만으로는 독립성을 보장할 수 없습니다. 무엇을 보관할 수 있는지, 결과의 어느 정도를 공개할 수 있는지, 기밀 정보는 누가 판단하여 가림할 것인지도 중요합니다.
Anthropic는 비영리 평가 기관 METR의 직원 6명에게 내부 위험 평가 팀과 거의 유사한 접근 권한을 부여하기 시작했다는 사실을 발표했습니다. 10월 17일(일본 시간) 업데이트에서는 평가자와의 협업을 접근 및 공개 권한에 따라 3단계로 설명하고 있습니다. [1]
이번에 발표된 접근 및 공개 권한
METR 팀의 6명은 Anthropic의 회사에서 제공하는 장비, 사무실, 내부 도구 및 시스템에 접근합니다. 해당 회사는 그 범위가 자체 위험 평가 팀과 거의 유사하다고 설명합니다. 반면, 고객 데이터, 변호사와 의뢰인 간의 비밀 정보, 모델 아키텍처 정보 등은 대상에서 제외됩니다.[1]
METR은 위험 수준, 사건, 관행에 대한 분석 결과를 공개할 수 있습니다. Anthropic은 공개 자체를 거부할 수 없지만, 사전에 정해진 기밀 카테고리에 해당하는 정보의 삭제를 요구받습니다. 해당 카테고리에 속하는지 여부는 Anthropic이 최종적으로 판단하며, METR은 받은 접근 및 정보 범위에 대해 일정 수준의 설명을 공개할 수 있습니다.
해당 회사는 평가자와의 관계를 3단계로 정비하는 계획도 제시했습니다. 초기 단계는 조사 범위가 좁고 Anthropic의 승인을 필요로 합니다. 다음 단계는 승인 없이 공개할 수 있지만 특정 정보 삭제 요청은 여전히 존재합니다. METR과의 이번 형태는 내부 수준의 접근 권한과 공개 권한을 가진 3단계로 설명되고 있으며, 이는 해당 회사가 제시하는 틀이며 업계 표준이나 규제상의 감사 제도와는 다릅니다.
이는 “평가 방식”이 아닌, 평가의 메커니즘 발표입니다.
이번 발표가 시사하는 것은 외부 평가자에게 어떤 환경을 제공할지를 담고 있습니다. METR에 의한 새로운 위험 평가 결과와 이번 메커니즘이 모델의 안전성을 향상시켰다는 결과는 발표 페이지에는 명시되어 있지 않습니다.
또한, 이는 Anthropic 스스로 자발적으로 추진하는 노력입니다. 평가자가 회사의 정보에 접근할 수 있는 것은 중요하지만, 기밀 정보를 어느 범위까지 숨길지에 대한 최종 결정은 회사 측에서 내리는 설계이기 때문에 공개 정보의 한계는 남아 있습니다. 규제 당국의 강제적인 검사나 기업에서 독립적으로 수행하는 감사와 동일하게 취급하는 것은 불가능합니다. [1]
이 부분부터는 발표를 읽고 난 후의 실무적인 관점입니다. 제3자 평가를 비교할 때는 “외부 기관이 참여한”이라는 한마디뿐만 아니라, ① 모델이나 안전 조치를 판단하기 위한 정보가 전달되는지, ② 평가자가 기업으로부터 재무 및 운영 측면에서 독립성을 가지고 있는지, ③ 결과를 기업의 승인 없이 공개할 수 있는지, ④ 기밀 정보 삭제 판단을 누가 담당하는지,를 분별하여 확인하면 시스템의 차이점이 명확해집니다.
이번 발표는 그 외적인 측면에서 평가자에게 무엇을 보여주고, 어느 정도까지 공개를 허용할 것인지에 대한 또 다른 논점입니다.
오늘의 読書メーター는 읽은 책의 감상과 독서에 관한 정보 교환의 장입니다. 여러분의 독서 라이프를 공유하고 자극할 수 있는 공간을 만들어가고 있습니다.
최근에 읽은 책은 ‘너, 별처럼’입니다. 나기오 유우 씨의 작품으로, 아름다운 문장과 섬세한 심리 묘사에 끌렸습니다. 주인공인 두 남녀의 로맨스 이야기는 마치 별처럼 덧없이, 그리고 찬란한 것이었습니다.
이 책을 읽고 자신의 연애관을 돌아보는 좋은 기회가 되었습니다. 또한 독서を通じて 새로운 시각이나 가치관을 얻을 수도 있다고 생각했습니다.
読書メーター에서는 읽은 책의 감상이나 리뷰를 게시하거나 다른 사용자들과 교류할 수 있습니다. 여러분과 함께 독서 라이프를 즐겨 봅시다!
**관련 서적:**
* 나기오 유우 ‘너, 별처럼’
読書メーター 링크: [https://readmeter.com/](https://readmeter.com/)
앤서니(Anthropic)의 발표는 METR(메트르)의 평가 결과가 아닌, 평가자에게 제공되는 접근 권한과 공개 권한을 구체화하는 노력입니다. 실효성을 판단하기 위해서는 앞으로 공개될 평가 내용뿐만 아니라, 접근 범위와 삭제 요청 운영 방식도 함께 살펴봐야 합니다.
앤서니(Anthropic)가 “독립 평가자 업데이트” 발표 (2026년 10월 15일 UTC 공개, 10월 16일 UTC 업데이트. 한국 시간 기준 10월 16일 공개, 10월 17일 업데이트. 2026년 10월 17일 확인).
출처: note 원문
번역: Gemma 3(.44) 초벌 + 교정 8청크
원문 보기 | 출처: note.com