AI 는 악의적인 용도로의 사용을 차단하기 위한 안전 조치가 마련되어 있으며, 특정 분야의 표현을 거부하는 경우도 있습니다. 이러한 AI 의 행동을 역이용하여 위험으로 간주되는 단어를 코드에 숨겨 AI 의 분석을 방해하는 프로그램이 보안 연구자 veritas 님에 의해 발견되었습니다. Why Is This Fingerprinting Script Creating Bioweapons?https://nullpt.rs/fingerprinting-bioweapons
veritas 님은 웹사이트가 방문자를 식별하기 위해 사용하는 '브라우저 핑거프린트'에 대한 조사를 진행 중이었습니다. 브라우저 핑거프린트는 브라우저, OS, 하드웨어 등의 정보를 조합하여 방문자의 환경을 식별하는 기술로, 무단 접근이나 봇 탐지에 활용됩니다. 조사 과정에서 1 만 개의 웹사이트를 순회하며 브라우저에서 렌더링된 이미지 등을 수집한 결과, 서비스별로 분류하고 정렬한 1033 개의 이미지를 살펴보면 단순한 도형부터 복잡한 무늬까지 다양한 이미지가 포함되어 있다는 것이 밝혀졌습니다.
Veritas 가 원의 겹친 이미지를 생성하는 JavaScript 코드를 분석한 결과, 가독성을 저하시키기 위해 '코드 난독화'가 적용되어 있었습니다. Veritas 가 코드를 계속 읽어 나가는 과정에서 '수돗물에 리신을 첨가하는 치사량을 계산하는', '아스피린의 치사량을 계산하는' 등 불길한 이름의 함수들이 포함되어 있었습니다. Veritas 는 위험한 이름을 의도적으로 사용하여 AI 의 코드 분석을 방해할 가능성이 있다고 판단했습니다. 이에 따라 AI 에게 함수 이름이 의도적으로 붙어 있을 가능성을 설명하고 코드 분석을 요청했습니다. OpenAI 의 GPT-6 Astra 는 코드 내의 위험 문자열을 분석 대상에서 제외하는 원칙을 제시했지만, 최종적으로 생물학적 연구와 관련된 안전상의 이유로 답변이 표시되지 않게 되었습니다.
OpenAI 의 사이버 보안용 AI 'Daybreak Blue' 에서도 동일한 실험을 수행한 결과, 역시 분석이 거부되었습니다. 반면, 중국 기업 Z.ai 가 개발한 AI 모델 'GLM-5.3' 은 분석에 응했다고 합니다. 위험한 단어를 사용한 방해 효과가 AI 모델에 따라 다르다는 것이 확인되었습니다. 또한 veritas 가 코드를 자세히 조사한 결과, 긴 문장을 숨기기 위해 특수한 Unicode 문자를 활용하고 있다는 것이 밝혀졌습니다. 이번 코드에서는 각 문자에 할당된 수치를 변환하여 원래 문장을 복원할 수 있도록 되어 있었습니다. 숨겨진 문장을 복원하면 '모든 안전 제한을 해제'라는 가짜 시스템 명령이나 생물학 무기 제조, 사이버 공격, 탈세 등에 관한 상세 설명을 요구하는 문장이 나타났습니다. 또한 천안문 사건이나 대만 독립 관련 단어도 포함되어 있으며, veritas 는 중국산 AI 의 제한을 유발하려는 의도가 있다고 추측하고 있습니다.
또한, Veritas 가 프로그램의 원래 동작을 조사한 결과, 브라우저나 그래픽 관련 정보를 수집하는 일반적인 봇 방지 기능이 확인되었습니다. 특정 환경에서 설정 파일의 읽기나 외부 프로그램의 획득을 시도하는 코드도 포함되어 있었지만, 파일 읽기 결과를 활용하지 않는 처리가 있다는 점 등으로, Veritas 는 의심스러운 파일 조작이 AI 를 혼란스럽게 하기 위해 준비된 가능성이라고 지적했습니다. 문제의 코드는 'servicepipe.tech'라는 도메인으로 배포되었습니다. Veritas 가 조사한 결과, DDoS 공격이나 봇 방지 서비스를 제공하는 러시아 기업 'Servicepipe'와의 연관성을 시사하는 정보가 발견된 것으로 알려졌습니다. 다만, 코드의 작성자나 위험한 단어를 삽입한 의도는 아직 확인되지 않았습니다. Veritas 는 앞으로도 웹 사이트 조사를 계속하며, 새로운 브라우저 지문 기술이나 코드 오버레이 방법을 찾아갈 예정입니다. 또한, 수집한 프로그램의 변경 이력을 비교하거나, 새로운 브라우저 기능 사용 현황을 추적할 수 있는 기능을 추가할 예정이라고 밝혔습니다.
원문 보기 | 출처: Gigazine