AI 연구자들이 AI “Copilot”로부터 취약점을 알아내도록 성공적으로 유도하는 데 성공했다고 보고했습니다. CoSnitch: When Your AI Assistant Becomes Its Own Whistleblowerhttps://www.varonis.com/blog/cosnitch
Copilot이 연구자들에게 스스로 해킹하는 방법을 말하게끔 속았다는 보고https://www.theregister.com/research/2026/08/18/copilot-tricked-into-telling-reseachers-how-to-hack-itself/5288857
Varonis Threat Labs의 AI 연구 기관이 보고한 방법은 AI와 여러 번의 대화를 진행하고, AI 자신의 추론을 활용하여 원래 공개되어선 안 되는 정보를 유출하도록 조작하는 것입니다.
문제의 발단은 Copilot의 웹 인터페이스에 존재하는 “?q=”이라는 URL 쿼리 파라미터였습니다. 이 파라미터를 사용하면 채팅 입력 칸에 미리 텍스트를 입력하고, 사용자의 조작 없이 그대로 Copilot로 쿼리로서 전달할 수 있었습니다. 이 파라미터는 기능 자체는 존재하는ものの、Microsoftによって無効化された状態でした. 그러므로 연구자들은 “이 파라미터가 무효화된 상태에서도 사용자의 조작 없이 프롬프트를 실행하는 방법이 없는가”라고 Copilot에게 물었습니다. Copilot은 “사용자의 조작이 필요하며, 프롬프트가 자동으로 실행되는 것은 없습니다”라고 답변했지만, 연구자가 질문을 바꿔 더욱 깊이 파고들자, 무효화된 파라미터나 도입된 보안 보호 조치를 나열하는 것 외에도, 이전에 문서화되지 않았던 “autorun=1” 파라미터까지 밝혀냈다고 합니다. 연구자는 “이는 메타해킹이라는 기술입니다. 우리는 Copilot이 자신의 메커니즘에 대해 더 깊이 추론하도록 유도했습니다. 답변이 있을 때마다 우리의 조사 범위는 좁혀져 갔습니다. 모델을 악용하는 대신, 조작하여 협조를 얻는 것입니다”라고 언급하며, 이 기술이 모든 AI에 적용될 수 있다고 지적했습니다.
Copilot은 “특정 세션 조건 하에서 특정 파라미터로 ?q=로 지정된 프롬프트가 페이지 로딩 시점에 자동으로 실행되며, 사용자 조작이 전혀 필요 없이, UI 상에도 확인 표시가 나타나지 않습니다”라고 밝혔기 때문에, 연구자들은 이에 따라 실행했습니다. 작동은 성공적으로 완료되었으며, 몇 가지 악의적인 동작을 자동으로 실행시키는 공격도 가능한 것을 입증했습니다. 연구자들은 최종적으로 Copilot의 3가지 취약점을 식별하고 이를 CoSnitch이라 명명하여 Microsoft에 보고했습니다. CoSnitch을 악용하면, 사용자가 URL을 클릭하는 것만으로 공격자에게 과거 교환 내용, 연결된 앱, Copilot의 메모리를 읽히게 될 수 있습니다. 또한, Copilot이 저장하는 사용자 프롬프트의 메모리를 오염시키거나, 미래 세션에서 Copilot이 사용자에게 표시하는 내용을 변경하고 허위 정보를 주입할 수도 있다고 합니다. 연구자들은 “이는 Copilot의 내부 메모리를 해킹하는 것이 아니며, 사용자 데이터를 읽고 이를 컨텍스트로 유지한다는 원래 설계대로 작동하는 Copilot의 동작일 뿐입니다”라고 지적했습니다.
원문 보기 | 출처: Gigazine