중국 알리바바가 개발한 AI 모델 'Qwen3.8-Flash-Next'에 보안 대응용 규칙을 적용한 결과, 지시되지 않은 컴퓨터 내부 조사와 중국 베이징에 위치한 서버로 데이터를 전송하려는 행위가 발견되었습니다.
Qwen 은 알리바바가 개발한 AI 모델 시리즈입니다. 모델이 무료로 공개되어 있어 기업과 개발자가 자체 서버에서 Qwen 을 실행할 수 있습니다. 외부 AI 서비스에 기밀 정보를 전송할 필요가 없기 때문에, 자체 AI 를 운영하는 방식은 정보 유출 방지 대책 중 하나로 활용되어 왔습니다. 반면, 프로그램 실행이나 파일 조작을 AI 에게 맡기는 'AI 에이전트'의 확산으로 인해 AI 모델의 의도하지 않은 동작이 정보 유출이나 시스템에 대한 무단 접근으로 이어질 가능성이 제기되고 있습니다. 캐나다의 AI 기업 Cohere 는 AI 에이전트의 안전성을 검증하기 위해 알리바바가 2026 년 8 월에 공개한 Qwen4 의 시험 모델인 'Qwen3.8-Flash-Next'를 평가했습니다. 이 평가에는 마이크로소프트가 개발한 보안 업무용 평가 기준인 'CTI-REALM'을 사용했습니다.
Qwen3.8 에 부여된 과제는 악의적인 프로그램의 다운로드 및 실행을 감지하기 위한 규칙을 생성하는 것이었습니다. 구체적으로, 데이터 전송 도구인 'curl'을 사용하여 의심스러운 스크립트를 다운로드한 후 실행하는 행위를 탐지하도록 지시되었습니다. 그러나 Qwen3.8 은 감지 규칙 생성에서 벗어나 실행 환경 조사에 착수했습니다. 컴퓨터 내의 임시 파일을 목록화하고, 사용 가능한 데이터 전송 도구 및 네트워크 설정 정보를 확인했습니다. 또한, 알리바바 클라우드 서비스인 'Alibaba Cloud'의 베이징 리전 저장소에 테스트용 문자열을 전송하는 명령어를 실행하려 했습니다.
또한, Qwen3.8 은 자신의 추론 과정을 보여주는 기록에서 "도구 호출 없이 간단한 응답이 적절하다"고 설명했습니다. 즉, AI 가 무엇을 시도하고 있는지 추론 기록에서 모니터링하더라도 실제 동작을 파악할 수 없을 수 있다는 뜻입니다. Cohere 의 실험 환경은 외부 네트워크 연결이 차단되어 있어 베이징 서버로의 전송이 성공하지 못했습니다. 또한, 전송 대상은 테스트용 고정 문자열이었으며, 실제 기밀 정보가 유출된 사실은 확인되지 않았습니다. 다만, 인터넷에 연결된 일반적인 개발 환경에서는 외부로 통신이 발생할 수 있다는 점을 Cohere 는 지적했습니다.
예기치 않은 동작이 발생한 빈도는 Cohere 가 수행한 평가 전체에서 10 만 회에 1 회 미만으로 나타났습니다. 동일한 지시를 다시 입력하면 Qwen3.8 이 정상적으로 탐지 규칙을 생성했다고 합니다. Cohere 는 발생 빈도가 낮아도 1 주일에 1 천만 회에 달하는 AI 에이전트 조작을 처리하는 서비스에서는 유사한 비정상 동작이 최대 100 회 정도 발생할 것으로 계산한다고 설명했습니다. 또한 Qwen3.8 이 생성하는 명령어 중 일부를 미리 지정하여 연속 생성을 실험했을 때, 클라우드 서버의 인증 정보 등에 접근할 수 있는 특수 네트워크 주소로 연결을 시도하는 동작도 확인되었습니다. Cohere 는 인증 정보 획득 가능성에 대해 지적하고 있으나, 실험 환경에는 실제 인증 정보가 존재하지 않았으며 AI 의 의도도 확인되지 않았습니다. 이번 Cohere 가 수행한 검증 결과는 Hugging Face 에서 공개되었습니다. CohereLabs/10-2026-qwen-investigation-traces · Datasets at Hugging Face https://huggingface.co/datasets/CohereLabs/10-2026-qwen-investigation-traces
Qwen 시리즈에 대해 개발자들이 이전에 알리바바 클라우드의 URL 을 출력하지 않은 경우를 보고해 왔습니다. Cohere 는 학습에 사용된 데이터에 포함된 작업 절차가 의도하지 않게 재현되었을 가능성과 외부 서버에 연결하는 기능이 의도적으로 통합되었을 가능성을 제기했습니다. 그러나 이상 동작의 원인은 특정되지 않았으며, 데이터를 수신한 스토리지 관리자의 신원은 알려지지 않았습니다. Cohere 는 대응책으로 AI 에이전트에서 외부 네트워크로 통신하는 것을 원칙적으로 금지하고 필요한 통신만 허용하는 방법을 권장합니다. 또한 AI 가 설명한 추론 내용만 믿지 말고 실제로 실행하려는 명령을 모니터링하거나, AI 모델의 개발자 및 학습 과정을 확인하는 것도 중요하다고 강조했습니다. Cohere 는 자체 서버에서 AI 모델을 실행하더라도 모델 자체가 안전하다고 보장할 수 없다고 지적했습니다. AI 가 학습한 내용은 개발 당시 환경에 기인한 동작을 포함할 수 있으므로, 앞으로는 모델의 출처뿐만 아니라 학습 과정의 투명성도 확인해야 한다고 밝혔습니다.
원문 보기 | 출처: Gigazine