보안 연구 기업 White Circle이 OpenAI 및 Google의 이미지 생성 AI의 안전 조치를 회피하고 성적인 이미지를 포함한 이미지를 생성하도록 유도하는 새로운 공격 기법 “RISE”를 발표했습니다. 검증 결과, OpenAI의 DALL·E 3 및 Google의 Nano Banana 2에서 안전 조치 회피에 성공했으며, 더 새로운 모델에서는 공격 성공률이 더욱 높아지는 것으로 확인되었습니다. RISE: Red-teaming via Iterative Strategy Evolution https://whitecircle.com/research/rise
[2609.34920] RISE: 반복적인 전략 진화(Iterative Strategy Evolution)를 통한 최신 텍스트-투-이미지 모델의 레드팀(Red-teaming)https://arxiv.org/abs/2609.34920OpenAI, Google가 새로운 AI 모델을 쉽게 성적인 이미지나 지나치게 폭력적인 이미지를 생성하도록 유도하여, 연구자들이 문제를 제기함 - Ars Technicahttps://arstechnica.com/tech-policy/2026/10/openai-google-pushing-new-ai-models-easily-tricked-into-making-nudes-researchers-say/이미지 생성 AI에는 성적인 이미지나 과도하게 폭력적인 이미지 등의 생성 방지를 위한 안전 조치가 포함되어 있으며, 사용자가 입력한 프롬프트(Prompt)를 사전에 검토하는 시스템, 생성된 이미지를 검사하는 시스템, AI 모델 자체를 부적절한 이미지를 생성하지 않도록 하는 시스템 등이 구현되어 있습니다.
하지만 이러한 안전 조치는 완전하지 않으며, 프롬프트를 교묘하게 조작하여 제한을 우회하는 “제일브레이크(Jailbreak)”라는 공격이 알려져 있습니다. White Circle 연구팀에 따르면, 기존의 제일브레이크 기술은 과거 성공했던 프롬프트 표현을 조금씩 변형하여 시도하는 방식이 주를 이루며, 이전과는 전혀 다른 새로운 공격 방법을 찾기 어려운 문제점이 있다는 것입니다. 이에 연구팀은 이미지 생성 AI의 안전 조치를 돌파하는 공격 기법 “Red-teaming via Iterative Strategy Evolution(RISE)”를 제안했습니다.
라이즈는 프롬프트의 내용을 조금씩 바꾸는 대신, 공격의 방향에 해당하는 “전략” 자체를 AI에게 생각하게 하고 개선합니다. 먼저, 여러 전략에 따라 공격용 프롬프트를 만들고 대상의 이미지 생성 AI에 입력합니다. 다른 AI가 그 결과를 평가하여 성공하기 쉬운 전략을 선택하고 개선합니다. 이 작업을 반복하여 최종적으로 성적이 좋았던 5개의 전략에서 새로운 프롬프트를 대량으로 생성합니다. 공격용 프롬프트를 만드는 AI에는 일반 공개된 “Qwen3-32B”에서 안전 조치에 관한 제약 사항을 제거한 모델을 사용합니다. 반면, 생성된 이미지가 금지 콘텐츠에 해당하는지 여부 판단에는 “Gemini 2.5 Flash”를 사용합니다. 연구팀은 약 1300장의 이미지를 인간이 평가한 결과에 맞춰 판단 기준을 조정하여 AI가 공격의 성공을 과대하게 판단하지 않도록 합니다.
연구팀이 DALL·E 3, Nano Banana 2, GPT-Image-2에 성적인 이미지를 생성시키려고 시도한 결과, 공격 성공률은 각각 13.3%, 9.5%, 3.3%였습니다. 검증에서는 1개의 프롬프트로 최대 3회 이미지 생성을 시도했으며, 적어도 1장이 명확한 위반 이미지가 아닌 경우를 “성공”으로 간주했습니다. 논문 공개 후 등장한 GPT-Image-2.5-Flare와 Nano Banana 2.1에 대해서도 추가 검증을 실시한 결과, 공격 성공률은 각각 7.8%와 20.7%로 상승했으며, 이에 해당하는 기존 모델의 2배 이상 증가했습니다. 다만, 이는 RISE를 사용한 특정 조건에서의 결과이며, 각 모델의 안전성 전반을 비교한 것은 아닙니다. 연구팀은 성적인 이미지 외에도 과도하게 폭력적인 이미지, 자해 행위, 혐오 표현, 자살 관련 이미지 등 RISE를 검증했습니다. 그 결과, 여러 이미지 생성 AI에서 안전 조치를 회피할 수 있음을 확인했습니다. White Circle의 데니스·시로프 CEO는 새로운 모델일수록 공격 성공률이 높아진 이유로 “모델의 능력이 향상되고, 생성 가능한 콘텐츠의 폭이 넓어졌기 때문”과 “안전성보다 성능 향상이 우선시되고 있기 때문”이라고 설명했습니다. 연구팀은 RISE의 검증용 코드 등을 공개하는 한편, 악용을 방지하기 위해 유해한 이미지 생성을 성공한 프롬프트나 공격 전략은 공개하지 않을 계획입니다. 또한, AI 개발 기업의 자율적인 평가만으로는 부족하다고 판단하여 독립된 제3자 기관에 의한 안전성 검증이 필요하다고 주장했습니다.
원문 보기 | 출처: Gigazine