8월 14일, Anthropic에서 기술 FAQ를 발표했다. 11일의 지원 페이지가 “무엇을 하는가”를 설명한 것에 반해, 이쪽은 “어떻게 움직이는지, 어디에서 고장 나는지, 무엇을 증명하지 않는지”를 다루고 있다.
이전 보고서에서 제공된 외부 자료를 기반으로 추정한 내용의 대부분이 제공자의 설명을 통해 확인되었으나, 수정해야 할 부분이 하나 발견되었다. 또한 외부의 실제 측정값은 제공자의 설명보다 훨씬厳しい 수준이었다.
방법은 SynthID-Text입니다.
Google DeepMind는 2024년 Nature誌에 발표한 기법의 일종이다. 2022년 Scott Aaronson의 제안에 기반하며, 설계 원리는 “어휘 선택 시 사용하는 난수의 출처만 변경하는” 것이다. 이전 기사에서 세 가지 시스템으로 분류했다면, 이는 분포 보존형에 해당한다.
앤트로픽(Anthropic)의 설명은 다음과 같다. “오늘의 날씨는 춥고, 그리고” 다음에 오는 단어는 ‘どんより’이든 ‘灰色’이든 독자에게 큰 차이를 주지 않는다. 이 저위험도의 선택을 결정짓는 열쇠이다. 글자를 추가하거나 숨겨진 글자를 넣지 않는다.
비유적으로 모노폴리가 등장한다. 주사위를 대신하여 원주율의 자릿수를 사용하여 말을 움직인다. 플레이어에게는 아무런 변화가 없지만, 나중에 모든 수를 병렬로 배열하여 원주율과 비교하면 원주율을 사용한 게임으로 판별할 수 있다. 워터마크가 있는 텍스트도 마찬가지라고 한다.
심사가 완료되었다는 사실은 선택으로서 의미가 있다. Nature 게재된 방법을 그대로 채택한 결과, 그 견고성과 한계 역시 선행 연구로서 공개되어 있었다. 8월 11일부터 14일까지 3일 동안 방식을 감추고 있었던 것이 더 이상할 수 있다.
품질에 미치는 영향에 대해 처음으로 숫자가 나왔다. SynthID-Text 논문에서 Gemini 실트래픽 일부에 워터마크 버전을 공개하고, 고평가와 저평가 비율을 비교하고 있다. 통계적으로 유의미한 차이는 없었고, 통제된 인간 평가에서도 차이가 나타나지 않았다.
정답 확인
엔트로피 의존성. FAQ에 따르면, 사실을 설명하는 부분에서는 정확성을 훼손하지 않으면서 선택지가 적어 워터마크가 흐릿해진다. 언급된 예가 ‘프린키피아’의 다음 단어로, 정답이 하나뿐이므로 워터마크가 작용할 여지가 없다. 코드 역시 같은 이유로 흐릿하지만, 주석 부분에는 적용된다.
이전 논문에서 “인용문, 숫자, 고유 명사, 조항 문구”라고 언급한 내용과, 그것이 지칭하는 내용이 일치한다.
삭제합니다. 가벼운 편집으로는 완전히 지워지지 않습니다. 모든 단어를 대체하는 완전한 재작성만으로는 지울 수 있습니다.
증명의 한계이다. 여기서는 제공자가 더 깊이 개입하여 작성했다. ‘클로드(Claude)가 부분적으로 작성했을 가능성은 어느 정도인가’만을 확인할 수 있을 뿐이다. 인간이 썼는지, 또 다른 AI가 썼는지 확인할 수 없으며, ‘클로드(Claude)가 썼다’와 ‘클로드(Claude)가 대대적으로 편집했다’를 구별할 수 없다.
식별 정보는 포함되지 않으며, 개인이나 조직, 채팅 누구에게도 역추적할 수 없다. 워터마크와 그 열쇠로부터 이용자 관련 정보를 복원하는 경로가 없다는 점이 명시되어 있다. 앞 장에서 언급한 “AI에 작업자 ID가 부여된” 읽기는 더 이상 성립하지 않는다.
외부 숫자들은 어렵습니다.
이전 논문에서 언급한 번역 기반 제거 공격(CWRA 및 CLSA)은 SynthID를 검증 대상에 포함하지 않았다. CWRA는 KGW, UW, SIR 세 가지 방식을 시도했으며, CLSA는 KGW, SIR, XSIR, Unigram 방식을 시도했다.
다른 시스템의 연구가 SynthID를 직접 다루고 있다.
법정 증거로서의 적격성을 평가한 연구가 있다. Daubert 기준과 NIST SP 800-86의 디지털 감식 프로세스를 프레임워크로 활용하여 의미를 보존한 방식으로 공격 수단을 선정했으며, 법적으로 현실적이고 증거 조작으로 간주하기에는 지나치게 복잡하다는 점 때문이다.
각 기법별로 15종류의 프롬프트를 사용하여 총 846회분의 유효한 대체 시도 수행됨. 초기 감지된 KGW 및 Unigram 텍스트는 예외 없이 워터마크를 제거했으며, 조건부 제거율은 100%를 기록. SynthID는 98.3%의 높은 제거율을 보였으나, 이는 MarkLLM이라는 오픈 소스 구현의 SynthID-Text에 대한 수치이며, Anthropic의 실제 운영 버전과는 다름.
공격 전 시점에서도 허위 음성률이 높다. KGW 70%, Unigram 83%, SynthID 80%.
검토 분야를 대상으로 한 다른 실험에서도 동일한 경향이 나타나고 있다. 베이스 모델 구성에서 공격 없이 검출 정확도는 SynthID가 0.909, PEGASUS의 재구성 후에는 0.135, DIPPER에서는 0.173이다. KGW의 동일 조건이 0.477와 0.754이므로, 성능 저하는 SynthID의 경우 더 크다. few-shot와 fine-tuned 구성에서도 정도는 차이가 있지만 동일한 순서가 나타난다.
품질을 희생하지 않는 설계는 오히려 약점으로 나타난다. 乱数の 출처만을 바꾸는 방식은 어의가 보장되는 한 신호를 전달하지만, 어의가 바뀌면 아무것도 전달하지 못한다.
역번역 연구에서는 워터마크의 손상과 번역 품질 간의 상관관계를 지적한다. 기계 번역이 덜 정확할수록 의미는 보존되더라도 신호가 왜곡될 수 있다.
Anthropic은 “가벼운 편집으로는 완전히 지워지지 않는다”라는 언급과 외부의 실측값에 온도 차이가 있었다.
訂正
이전 논문에서 “교정에 보내면 낙인 표시가 붙고, 내용은 언제나 인간의 것이며 유지된다”라고 언급한 것은 부정확했다.
FAQ에 따르면, 교정 시 돌아오는 문장의 대부분이 사람의 것이므로 워터마크가 붙는 부분이 거의 없다. 문법 및 쉼표만 수정하는 경우, 수개 지점에만 수정이 적용되어 검출에 충분하지 않을 수 있다.
한편, 번역은 별도 처리되며, 클로드(Claude)가 생성한 번역에는 워터마크가 삽입됩니다. 모든 어구가 클로드에 의해 선택되기 때문입니다.
지원 페이지에서 ‘교정, 번역, 요약, 파일 변환’이 한 줄로 나열되어 있던 것이 FAQ에서 분해되었다. 교정은 얇게 처리되고, 번역은 전체 내용에 적용된다. 실무적인 의미가 완전히 다르다.
경계는 명시되어 있지 않다. FAQ는 “클로드가 글을 쓸수록 결정의 수가 늘어나고, 워터마크가 삽입될 여지가 넓어진다”라고만 언급하고 있다. 문법만 수정하고 대대적으로 재작성하는 사이의 어디쯤에선지, 그 위치는 밝혀지지 않았다. 일본어 화者が 쓰기 편한 어색한 영어를 문단 단위로 교정해 달라는 작업은 어느 범주에 속하는가.
일본어로 작성된 원고의 영어 번역을 맡는 작가에게는 번역의 측면이 작용한다.
검출 API의 형태가 핵심 쟁점이 되다
검출 API를 현저히 가까이 제공할 예정이며, 구현 세부 사항은 조정 중입니다. C2PA용으로는 파일을 보관하고 확인할 수 있는 도구를 Anthropic 측에서 준비합니다.
이 API가 어떤 형태로 나타나는지는 앞 글에서 언급한 “임계값을 누가 결정하는가”에 직접적으로 연결된다. 단일한 판정을 반환하는 것인지, 아니면 원시 통계량을 반환하는 것인지에 따라 달라진다. 전자의 경우, 구간 분할의 기준을 잡는 것은 제공자에게 있고, 후자의 경우 사용하는 측이 스스로 결정할 수 있다.
참고할 만한 것은 Google의 선례이다. 2024년 10월, SynthID-Text를 오픈 소스화하고 있으며, GitHub와 Hugging Face Transformers 4.46 이후 버전으로 배포하여 Responsible GenAI Toolkit에도 포함시켰다. 다른 개발자들이 자사 모델의 생성물을 식별할 수 있도록 하기 위한 취지였다.
그 탐지기의 설계는 시사적이며, 베이즈 탐지기는 세 가지 상태를 반환한다. 워터마크가 있는 경우, 없는 경우, 불확실한 경우이다. 두 개의 임계값을 설정함으로써 원하는 위양성률과 미양성률을 달성할 수 있다. 구간 분할의 위치는 사용자에게 결정하도록 한다.
다만 방식 코드는 공개하되, 구글이 자사 모델에 사용하고 있는 키는 공개하지 않는다. 동일한 토크나이저를 사용하는 모델들은 설정과 탐지기를 공유할 수 있다. 이는 키 배포의 역설에 대한 하나의 구현적 해결책이다.
추가 토큰 생성을 하지 않으므로 속도나 비용에 변화가 없습니다. 이는 전 세계에 적용하고 있는 이유로, 지역별로 범위를 제한하는 지속적인 방법을 아직 갖추지 않았기 때문입니다. 소유권이나 법적 책임은 변하지 않습니다.
흥미로웠던 점은 Pangram과 같은 기존 AI 탐지 소프트웨어와의 차이점을 언급한 부분이었다. 그곳들은 키워드를 가지고 있지 않기 때문에 문장 뉘앙스나 습관을 파악하는 데 집중한다. AI 모델은 “this isn’t [X], it’s [Y]”라는 문장 구조를 선호하며 “quietly”라는 단어를 예상보다 지나치게 많이 사용하는 경향이 있다. 이러한 징후를 포착하는 것은 워터마크 확인과는 근본적으로 다른 작업이라는 것이다.
키를 가진 사람이 키를 갖지 않은 탐지 기법의 무용성을 설명하고 있다.
반응은 한쪽에서만 흘러왔다.
발표 이후, 유료 이용자들 사이에서 반발이 널리 퍼졌다. 특정 요약은 61만 뷰를 넘는 조회수를 기록했으며, 부정적인 반응이 크게 이어졌다.
비판적 유형은 세 가지로 나뉜다.
첫째, 수많은 수정 작업과 지시, 맥락, 판단까지 자신이 내린 것, Claude는 도구였지만 생성물에 워터마크를 삽입하는 것은 무슨 족적을 주장하는 것인가. 이에 대해선, 위험으로 인한 탐지라는 반론이 제기되었다.
두 번째로, 타인의 작품을 흡수하여 만든 결과물에 워터마크를 넣는 행위가 위선인지 아닌지는 판단하기 어렵습니다.
세 번째 요소는 질적으로 부족하다. 유료 이용자 중 한 명이 해지 이유를 블로그에 적었다. 투명성에 반대하는 것은 아니지만, 합성 미디어 식별이나 사기 조사, 출신 확인 등은 바람직하다. 반대하는 부분은 감지기의 성능, 오차 특성, 대상 모델, 알림 및 옵트아웃 규정, 그리고 불리한 해석에 이의를 제기하는 절차까지, 이러한 내용을 고객에게 설명하기 전에 숨겨진 신호를 도입한 것이다.
비판 진영과 옹호 진영 모두 참여하고 있습니다. 자신의 머리로 생각하고 직접 글을 써야 합니다. 쉽게 감지할 수 있는 신호가 나타난 것은 환영이며, 비판 진영과 옹호 진영은 같은 논밭에서 맞서고 있습니다. 워터마크가 AI 사용 여부를 판단할 수 있다는 전제는 양측이 공유하고 있습니다.
TechCrunch 기사의 제목은 “직장이나 수업에서 부정행위가 적발되는”이었다. 이에 대한 반발의 주류를 그렇게 해석한 것이다.
이전 논문에서 언급한 “증명할 수 없는 측”의 목소리는 세 번째 블로그에만 발견되었다.
왜 한쪽만일까요
이 부분부터는 추측에 불과합니다.
검출기는 아직 제공되지 않았습니다. 의심된 사례는 존재하지 않습니다. 은폐하려는 측은 발표를 읽는 순간 자신의 이야기로 인식할 수 있지만, 증명 불가능한 측은 실제 피해가 발생할 때까지 문제를 인식하지 않습니다. 시간 차이가 있습니다.
표절 검출 도구의 경우에도 비슷한 흐름이었다. 도입 시에는 운영 측에서 주로 목소리를 높였고, 오탐으로 인해 피해를 본 학생들의 이야기가 실제 불이익이 발생한 후에야 드러났다. 인용이나 정형화된 기록이 쌓여만 있던 숫자들로 의심받은 측은, 의심받을 때까지 자신이 대상이라는 사실을 알지 못했다.
발언의 비용 또한 다릅니다. “AI 사용을 의심받을 때 반증할 수 없는” 점을 공개적으로 언급하면, AI를 사용하고 있다는 전제하에 읽히게 됩니다. 앞 글에서 지적한 “정보 공개를 하지 않는 것이 유리하다”는 구조가 게시글 작성 여부 판단에도 영향을 미칩니다.
그리고 140자는 “발각될 가능성”, “곤란한 상황” 등을 전달하는 데 적합하며, “이의 제기 절차가 미비하다”는 내용을 전달하기에는 짧다. 유일하게 논리적으로 일관된 비판이 장문 블로그에 실린 것은 아마도 우연이 아닐 것이다.
교환 방법에 대해서도 명시되어 있습니다.
FAQ는 삭제 조건을 명시하고 있습니다. 완전한 재작성이라면 삭제됩니다.
같은 문구가 계속 반복된다. 이 경우, 해당 텍스트를 AI 생성이라고 부를 수 있는지에 대해서는 논쟁의 여지가 있을 것이다.
실무에 적용했을 때, 이 조건은 매우 무거워진다. 논문 한 권 분량의 영어 번역을 전부 다시 쓰는 것은 번역을 직접 재번역하는 것과 거의 동일한 작업량이 된다. 번역을 맡긴 이유가 영어 운영의 부담을 줄이는 것이었다면, 회피하기 위해 지불하는 비용은 처음 절약했던 비용과 거의 동등하다.
더욱이 외부의 실측값에 따르면, 수정 사항의 완벽한 적용 정도는 그렇게까지 필요하지 않은 것으로 보인다. 오픈소스 구현에서의 시험에서는, 번역을 한 번 통과하는 것만으로 98.3%가 검출을 벗어난다. 노력이 덜 들게 간편하게 삭제하고 싶은 사람에게는, 조건이 FAQ가 쓰다듬듯이 엄격하지 않다.
텅 빈 공간만이 남았습니다. 마치 거울처럼, 과거의 모습들이 반사되어 보이지 않는, 텅 빈 공간이죠.
하지만, 사라진 것들 중에도 남아 있는 것들이 있습니다. 그것들은 눈에 보이지 않지만, 마음속 깊이 자리 잡고 있는 기억과 감정의 흔적입니다.
예를 들어, ‘나쓰메 소세키’의 ‘데메데’를 읽었던 어린 시절의 기억은 여전히 생생합니다. ‘고료 에스미’의 눈빛, ‘카와무라 료마’의 용맹함, 그리고 ‘오카다 마사오’의 냉철함… 그 모든 순간들이 마치 그림처럼 제 눈앞에 펼쳐집니다.
이처럼, 사라진 것들 속에서도 잊혀지지 않는 것들이 존재합니다. 그것들은 마치 작은 조각상처럼, 우리 마음속에 영원히 남아 있을 것입니다.
그리고, 이러한 기억과 감정의 흔적을 통해 우리는 과거를 기억하고, 현재를 살아갈 힘을 얻을 수 있습니다. 사라진 것들로부터 배우고, 앞으로 나아가는 것이 바로 우리의 숙명일지도 모릅니다.
검출 API의 제공 시기는 미정이다. 기존 모델에 대한 대응은 EU가 8월 2일 이전에 출시된 시스템에 주어진 4개월의 유예 기간, 12월 2일까지가 대략적인 기준이다. EU AI 오피스는 9월에 2개의 태스크포스를 구성하고, 참여자 간에 구현 방식 사례를 공유하는 장이 시작될 예정이다.
FAQ 말미에 워터마크가 무엇을 증명하는지 묻는 질문이 있습니다. 답은 클로이드가 어느 시점에서 관여했을 가능성이 높다는 것뿐이며, “클로이드가 썼다”와 “클로이드가 크게 편집했다”의 구별은 불가능합니다.
이전 논문의 제목은 “몰카가 ‘AI가 아닌’ 것을 증명하지 않는다”였다. 제공자는 그것이 “AI임을” 증명하지도 않는다고 밝히고 있다.
읽어주셔서 감사합니다. 댓글, 기사 구매, 팁 등 항상 감사드립니다. 진심으로 감사드립니다. 관련 자료도 있으니 아래 사이트맵을 참조하시면 좋겠습니다.
출처: note 원문
번역: Gemma 3(.44) 초벌 + 교정 46청크
원문 보기 | 출처: note.com