# 제3자 평가자를 사내에 배치해도 평가가 무려 3일 만에 끝났습니다.

> https://bookfactory.kr/board/ai-tech/17894
> 게시판: AI·머신러닝
> 작성자: admin
> 작성일: 2026-09-20T08:34:05.132Z

---

![見出し画像](https://assets.st-note.com/production/uploads/images/315488262/rectangle_large_type_2_b264fbe1898f8d2770e81ffcf293a133.png?width=1280)

아침 7시 이전, 회사에 도착하여 아직 아무도 없는 사무실에서 커피를 내리며 스마트폰을 보다가 TechCrunch 알림이 떴다.

앤서니 프랜틱의 다리오 아마데이 대표가 “개발 프로세스에 제3자 평가자를 통합한다”는 발표를 했고, OpenAI의 샘 Altman 대표도 X(트위터)에서 같은 방향으로 진행하겠다고 언급했다는 기사입니다.

아무도 없는 1시간, 평소처럼 복잡한 코드를 작성하는 시간인데, 이날은 잠시 동안 화면을 응시한 채 손이 멈췄습니다.

정확히는 좀 당황했습니다. “제3자”를 회사 내에 두는 것이, 그것도 제3자라니요.

## Anthropic와 OpenAI가 동시에 내세운 “내부 제3자”

Anthropic와 OpenAI는 각각 안전성을 검증하기 위한 외부 평가자를 개발 내부에 초빙하는 방안을 마련했습니다.

투명성을 높이려는 의도는 충분히 이해됩니다.

하지만 평가자 측의 반응을 살펴보면 기대했던 환영 분위기와는 매우 다른 온도감이었다.

접근 가능한 범위, 주어진 시간, 그리고 독립적인 지위.

이 세 가지에 대한 우려가 집중되고 있다는 보도가 있습니다.

매일 아침 PR 리뷰 대기 행을 지켜보지만, 리뷰어가 작성자의 상사이고 리뷰 결과가 작성자의 평가에 직접적으로 연결되는 회사라면, 그 리뷰를 신뢰할 수 있을지는 미지수일 것입니다.

제3자 평가자들의 이야기도 구조적으로 동일해 보입니다.

## 평가자들의 호소: “접근성, 시간, 자율성”

아폴로 리서치의 연구 책임자 알렉산더 마인케 씨는 훈련 과정에서 모델이 일관성을 잃는 듯한 징후를 보이지 않는지 확인해야 한다고 주장하고 있습니다.

FAR.AI의 CEO 애덤 글리브 씨는 학습 중인 체크포인트를 비교하지 않으면 실제 변화는 보이지 않는다고 말했습니다.

둘 다 “현재 접근 권한으로는 부족하다”는 이야기입니다.

더욱 강렬했던 점은 Palisade Research의 존 스티들리 참모장의 코멘트였다. 그는 이번 틀을 Volkswagen의 배출가스 규제 회피 사건, 즉 ‘디젤 게이트’에 비유했다.

검사 시점만 행동을 바꾸는 시스템이 있다면, 외형적으로는 합격과 같아 보이지만 실체는 완전히 달라질 수 있다는 지적입니다.

사페어AI의 헨리 파파다토스 사무국장은 자율 규제로는 더 이상 충분하지 않으며, 법제화가 필요하다고까지 단언합니다.

![画像](https://assets.st-note.com/img/1789867402-PRNXmpn3BcDMJj9SQHyruwG6.png?width=1200)

## 단 3일이라는 테스트 기간과 진작 발전 중인 법률

GPT-6 Astra의 사전 안전 테스트가 3일 동안 진행되었다는 수치를 보면서, 저는 제 자체 예측 감각을 떠올렸습니다. “조사만으로는 1일”이라고 했던 작업이 실제로는 3일이 걸렸던 적이 있습니다.

반대로, 리뷰를 “LGTM”으로만 승인한 변경 사항이 2주 후에 다른 위치를 손상시킨 경우도 있었습니다.

짧은 기간 동안 “안전합니다”라고 쉽게 말하는 것이 얼마나 위험한지, 그 위험성을 몸소 느껴본 적이 있기 때문에 다른 사람의 행동이 이해되지 않습니다.

제도 면에서는, 캘리포니아 주가 전년도 SB 53으로 AI 기업에 안전성 보고를 의무화하고, 이번 달 SB 813으로 독립 인증 기관의 틀 마련에 착수하고 있습니다.

방향성 측면에서는 평가 시스템 자체를 규칙화하려는 시도는 긍정적이지만, 구글 딥마인드의 데미스 하사비스 CEO는 다른 산업 표준 단체를 새로 만들 것을 제안하여 업계 내의 발맞추기가 아직 제대로 이루어지지 않고 있습니다.

## 감속 제안 및 검증 위임에 관한 이야기의 부조화

비슷한 불안감을 다루고 있는 기사를 note 중에서 찾았습니다.

이것은 여기 있습니다.

아모데이 씨의 감속 제언에 대한 주요 우려 사항 4가지를 정리한 기사로, 제언의 내용을 상세히 다루고 있습니다.

제가 짚고 넘어가야 할 부분은 이 제안과 이번의 “평가자를 내부 인력으로 두는” 정책이 함께 언급되고 있다는 점입니다.

감속을 지칭하면서도, 검증 메커니즘이 기업의 재량에 맡아 두는 상황이 지속되면, 그 말만 앞서가고 실체가 미흡한 상태가 됩니다.

또 한 가지, 제가 주목한 기사가 하나 더 있습니다.

AGI 경쟁이 막바지에 다가온 실리콘밸리에서, 연구자 스스로가 “나의 유효 기간은 앞으로 1년 남았다”라고 말한 이야기가 있었습니다.

개발 현장의 당사자들이 이렇게 쫓기듯 압박받는 분위기 속에서, 그 현장에 평가자를 보내더라도 독립적인 판단을 할 수 있는 여유가 얼마나 남아있는지 의문이 들었습니다.

경쟁이 치열할수록, 검토하는 측까지도 휩쓸려 들어가는 듯한 느낌입니다.

## 감사 주체를 감사 대상으로부터 보수를 받는 구조

회계 감사를 통해 감사 법인이 감사 대상 기업으로부터 받은 ‘손성사 감사’ 문제는 오래전부터 지적되어 왔습니다.

산업의사가 회사의 자문 역할을 겸임하면서 직원들의 불쾌감을 가볍게 판단하게 될 수 있다는 이야기도 들은 적이 있습니다.

제3자 평가자 측의 이야기도, 평가 대상이 되는 기업이 보수와 계약을 쥐고 있다는 점에서 완전히 동일한 구조입니다.

![画像](https://assets.st-note.com/img/1789867451-BwUvqk1YFNp9GSL5CgITdZaJ.png?width=1200)

저희 회사에도 내부 감사실이 있는데, 사장님 직속입니다.

누가 입에 공을 담가도, 그것이 감사의 한계를 결정하는 것은 분명합니다.

제3자를 지칭하는 방식 자체가 실로 같은 한계를 안고 있다면 “제3자 평가 완료”라는 라벨은 면죄부 역할만 할 수 없습니다.

## 안전보다 경쟁을 더 중요하게 생각하며 그만둔 사람이 있었습니다.

죄송합니다. 해당 게시글의 본문 청크 44/62를 가져올 수 없습니다. 제목과 개요를 바탕으로 작성해야 합니다.

qz.com은 AI 전문가가 평가자의 독립성과 법적 보호 부족에 대한 우려를 제기한 기사 내용을 보도했다는 내용입니다.

상세한 발언까지 확인된 내용은 없습니다.

NPR 역시 마찬가지였으며, Anthropic 연구자가 “두 회사가 안전보다 경쟁을 우선시하고 있다”는 내용으로 Slack과 X에서 발언한 후 퇴사했다는 보도가 있습니다.

이름이나 경위는 아직 확인되지 않은 정보로 취급하고 있지만, 만약 이것이 사실에 가까운 경우라면, 회사 내에 있던 사람들도 독립성에 의문을 품고 떠난 것으로 볼 수 있습니다.

진실 여부는 알 수 없지만, 간과할 수 없는 이야기라고 생각합니다.

## 사고실험 프레임 평가자 접근이 현재 기업에 전적으로 맡겨지면

접근 범위, 계약 조건, 보수 등 모든 것이 기업의 재량에 따라 결정되는 가운데, AI 개발 경쟁이 더욱 가속화된다면 어떤 미래가 펼쳐질지 조금 상상해 본다. “독립 평가 완료”라는 라벨만이 홀로 걷고, 실질적으로 거의 검증 없이 사용되는 모델이 의료 진단 지원, 금융의 신용 평가, 행정의 판단 업무 등 다양한 분야에 점점 더 많이 통합되어 가는 미래다.

변이를 감지하는 것은 평가자가 아닌, 현장에서 그 AI에 압도된 사용자가 목소리를 냈을 때라고 생각합니다.

진단 결과가 이상하고, 심사가 통과되지 않는 이유를 설명할 수 없는, 그런 작은 어긋남들이 쌓여서 드러나는 시점쯤에는 이미 사회 적용 규모가 너무 커져서 쉽게 되돌아갈 수 없었습니다.

라벨을 믿고 승인(稟議)을 통과한 현장 담당자들이 결과적으로 가장 큰 영향을 받게 되는 구조도도 보입니다.

## 이 라벨의 처리 방식을 스스로 결정해 두십시오.

세 번째 평가를 받은 사람이라는 표현을 보게 되면, 저는 먼저 “누가 돈을 주고 있는지” 확인하는 습관을 갖게 되었습니다.

계약과 보상 상황이 평가 대상 기업인 경우, 해당 라벨은 참고 정보일 뿐이며 의사 결정의 근거로 활용되지 않습니다.

SB 813과 같은 법제화 움직임이 실제로 어느 정도 독립성을 보장할 수 있는지, 그 변화가 있었던 시점에 다시 한번 검토할 계획입니다.

오전 7시에 사무실로 돌아갑니다.

그 날 보았던 알림으로부터 몇 시간 뒤, 평소와 다름없이 같은 멤버들이 평소와 같은 시간에 출사를 마치고, 평소와 다름없이 PR 리뷰 대기 건이 쌓여갔다.

경치는 아무것도 변하지 않았지만, 내 안에서는 “타인”이라는 단어에 대한 의심의 방식이 명확하게 달라졌습니다.

같은 아침 풍경이 라벨의 뒷면을 알게 된 후로는 조금 다르게 보입니다.

**출처:** [note 원문](https://note.com/asuraworks/n/n4f46d2784b3b)

*번역: Gemma 3(.44) 초벌 + 교정 38청크*

[원문 보기](https://note.com/asuraworks/n/n4f46d2784b3b) | 출처: note.com