생성 AI 및 AI 에이전트 도입이 기업에서 가속화되는 가운데, “AI를 어떻게 안전하게 사용해야 하는가”라는 질문은 더욱 중요해지고 있다.
많은 기업에서는 AI 활용 가이드라인 제정, 프롬프트 기반 제어, 가드레일 도입 등 다양한 조치가 진행되고 있다. 하지만 이러한 조치를 쌓는 것만으로 AI가 진정으로 안전해질 수 있을까.
이 질문에 한 방을 쏘아 맞춘 곳이 바로 AI 보안 연구 개발 및 기업용 솔루션 제공 기업인 엘리스(Elith)이다. 이 회사는 방어용 프롬프트를 늘려도 공격에 대한 저항성은 높아지지 않고 오히려 공격자가 유리해지는 경우도 있다는 연구 결과를 제시했다.
AI 보안은 기존 정보 보안과 무엇이 다른지, 그리고 기업은 AI 시대의 위험에 어떻게 대처해야 하는지. 엘리스(Elith) 대표이사 이노우에 게요시(이노우에顧基) 님께 이야기를 들어보았습니다.
※ 인터뷰는 2026년 8월 4일에 진행되었다.
엘리스(Elith)
대표이사 CEO/CTO
이노우에 게요시 (이노우에 게요시)
북리히 첨단 과학 기술 대학원 대학원에서 양자 컴퓨터의 재료 탐색 연구로 석사 학위를 취득했다. 회사 경영과 동시에 동북대학교 의학연구과에서 의료 AI 연구에 참여한 박사 후 과정. 연구 성과로서 의학물리학 최고 컨퍼런스인 AAPM에서 채택되어 연구 발표를 진행했다. 저서로서 “실무 수준에서 이해하고 활용할 수 있는 Git 입문 명령어 연습 80(슈와 시스템)” 및 “니케이 린눅스(니케이BP)”에서 대규모 언어 모델에 대한 기사를 기고하는 등 활발하게 활동하고 있다.
## AI 보안은 “침입을 막는” 것에서 “침입을 허용하는 전제”로
기존 보안과의 가장 큰 차이는 근본적으로 차단할 수 없다는 점입니다.
이노우에 씨는 첫 말로 이렇게 말했습니다. 기존 정보 보안에서는 외부 공격을 방화벽 등으로 차단하여 시스템 내부로의 침입을 막는 것이 기본 원칙이었습니다. 반면, 생성 AI 는 채팅 인터페이스를 통해 사용자의 자연어를 받아들이고 이를 처리하는 구조입니다. 즉, "입력" 자체가 전제 조건이 되는 것입니다. 이노우에 씨는 이 구조적 차이가 AI 보안의 어려움을 야기하는 핵심 요인이라고 설명했습니다.
"채팅 기반이기 때문에 이미 진입해버린 상태입니다. 과거처럼 '진입 전에 막는다'는 접근 방식은 통하지 않습니다."
따라서 방어에 대한 접근 방식도 크게 달라진다. AI 는 "침입을 막는 것"보다 "침입 후 어떻게 대응할 것인가", "피해를 어떻게 제한할 것인가"라는 설계가 더 중요해진다.
또한 AI 보안에는 기존과 다른 또 하나의 특징이 있습니다. 그것은 보안 대책만으로는 해결되지 않는다는 점입니다. 기존에는 취약점을 발견한 후 보안 제품을 도입하여 방어하는 접근법이 유효했습니다. 그러나 AI 의 경우 취약점이 발견되면 해당 시스템 자체의 설계나 워크플로우를 재검토하지 않으면 근본적인 해결이 어려운 경우가 많습니다. 이노우에 씨는 다음과 같이 경고를 내렸습니다.
"AI 보안 회사가'이 시스템은 위험하다'라고만 말한다고 해서 의미가 없습니다.'그렇다면 어떻게 고치는 것인가'까지 생각하지 못한다면, 진정한 의미에서 AI 보안은 성립할 수 없습니다."
## “가드레일을 늘려도 안전”은,사실에서는 그렇지 않았다
AI의 안전성을 높이는 방법으로, 많은 기업이 먼저 떠올리는 것이 “시스템 프롬프트를 개선하는 것”이다. “이 정보는 절대 출력해서는 안 돼”, “이 질문에는 대답하지 마라”와 같은 규칙을 작성하여 가드레일을 강화하면 안전성도 높아질 것이라는 생각을 자연스럽게 할 것이다. 하지만 Elith가 발표한 연구는, 그 일반론과는 다른 결과를 보여주었다.
연구의 계기가 된 것은, 프롬프트 인젝션을 주제로 개최한 공격 및 방어 경진대회였다. 방어측과 공격측으로 나뉘어, AI를 어떻게 공격하고 방어할 수 있는지 경쟁하는 과정에서, 이노우에 박사 연구팀은 특정한 현상에 주목하게 되었다.
“방어측은 프롬프트를 길게 하면 막을 수 있다고 생각하는 경향이 있습니다. 하지만 실제로는 그렇지 않았습니다.”
카베타 엘리트 이노우에 박사
연구에서, 방어측은 시스템 프롬프트를 변경하면서 방어 성능을 높이려고 했고, 반면 공격측은 공격 프롬프트를 변화시키면서 침투를 시도했다. 그 결과, 방어 프롬프트를 복잡하게 하더라도 공격측의 우위는 바뀌지 않았다. 오히려 공격측은 프롬프트를 개선함으로써 공격 능력을 높이는 한편, 방어측에게는 할 수 있는 일이 제한되었던 것이다.
이 연구가 보여준 것은 “가드레일을 쌓으면 안전해진다”는 생각만으로는 AI를 충분히 보호할 수 없다는 것이다.
## AI 에이전트 시대는 공격도 “지적으로” 변한다
AI 에이전트의 보급으로 인해, 공격 기법 또한 크게 변화할 것이라고 이노우에 박사는 지적한다. 기존의 사이버 공격은 한 번 침투하여 취약점을 이용하는 경우가 많았다. 하지만 AI 에이전트는 자율적으로 상황을 판단하면서 공격 방법을 변화시킬 수 있다. 예를 들어, 한 번 공격하여 반응을 보고, 실패하면 다른 방법을 시도하고, 성공의 징후가 나타나면 공격을 더욱 강화하는 식으로 진행될 수 있다. 이러한 시도착오를 AI 스스로 반복할 수 있게 되는 것이다. 이노우에 박사는 이를 “파도 공격”과 같은 것으로 표현한다.
“처음에는 상황을 지켜보고, 잘 될 것 같으면 한 걸음 더 내디딘다. 더 다른 에이전트를 사용하여 공격한다. 그런 다단계 공격이 앞으로는 일반화될 것이라고 생각합니다.”
방어측이 한 번 공격을 막아내면 끝이 아니다. 공격이 계속 변화하기 때문에, 방어 또한 고정화할 수 없다. 따라서, 하나의 대책에 의존하는 것이 아니라, 여러 가지 방어 대책을 조합하면서 지속적으로 검토해 나가는 사고방식이 필요하다.
## AI 거버넌스는 “단 하나의 정답”을 찾는 것이 아니다
그러면 기업은 AI를 어떻게 운영해야 할까?
이노우에 박사가 반복해서 강조한 것은 “이 정도만 하면 안전하다”는 대책이 존재하지 않는다는 것이다. 그 생각의 배경에는, AI 보안은 “다층 방어”로 생각해야 한다는 사고방식이 있다.
예를 들어, 기밀 정보를 다루는 업무에서는, 인터넷으로부터 분리된 폐쇄망이나 로컬 모델을 활용한다. 반면에 일반 부서에서 사용하는 생성 AI에 대해서는, DLP(Data Loss Prevention) 등을 활용하여 정보 유출이 발생했는지 지속적으로 감시한다. 더 나아가, 직원들이 회사의 허락을 받지 않은 AI 서비스를 이용하는 “섀도우 AI”에 대한 대책도 필요하다. 즉, “경계형 보안”인지 “제로 트러스트”인지라는 이분법적인 선택이 아니라, 각각을 조합하는 것이 중요하다는 것이다.
“이 정도만 해놓으면 괜찮을 거 같다”는 생각이 가장 위험하다고 생각합니다.”
생성 AI 활용이 경영 과제로 떠오르는 가운데, 많은 기업에서는 “전사 도입”을 표방하는 움직임도 보이고 있다. 그러나 이노우에(이노우에) 씨는, 이러한 흐름에 대해 신중한 태도를 보이고 있다. 물론 AI 활용 자체를 부정하고 있는 것은 아니다. 오히려 “어느 정도 AI를 사용해야 하는가”를 충분히 설계하지 않은 채 이용 범위만 확장하는 데에는 위험이 있다는 것이다.
“AI를 전사적으로 사용하자는 것은 긍정적인 생각이라고 생각합니다. 하지만 지금은 아직 모르는 것이 많습니다. 최악의 경우를 생각하면서 단계적으로 도입하는 것이 좋겠습니다.”
실제로 해외에서는 EU AI 규정법 등 규제 정비가 진행되고 있으며, AI 안전성에 대한 논의가 급격히 활발해지고 있습니다. 이노우에 (이노우에) 씨 역시 해외 컨퍼런스 참여 과정에서 "AI 보안은 정말 위험한 영역이 되고 있다"는 위기를 피부로 느꼈다고 합니다. 따라서 더욱 중요한 것은 유행에 맞춰 AI 를 확대하는 것이 아니라, 자사의 업무와 정보 자산에 따라 적절한 이용 범위를 설계하는 것입니다.
AI 보안을 위해서는 "공격 (공격) 을 아는 능력"이 필요합니다.
AI 보안에서 중요한 것은 취약성을 찾는 것이 아니라, 그 위험을 이해하고 개선에 연결하는 것이다. 이노우에(이노우에) 씨는, 진단만으로는 충분한 가치를 내지 못한다고 지적한다.
“공격자보다 위에 있어야 방어가 가능합니다. 그래서 우리는 공격자도 연구합니다.”
AI 에이전트의 보급으로 인해 AI 를 노리는 공격 방법도 급격히 진화하고 있습니다. 프롬프트 인젝션(프롬프트 인젝션) 또는 정보 유출(정보 유출)과 같은 기존 애플리케이션 보안과는 다른 위험이 발생하고 있으며, 방어 측도 또한 공격 방법을 이해하고 지속적으로 업데이트해야 합니다.
AI 활용이 확대될수록 더 중요해지는 것은 'AI 를 어떻게 제어할 것인가'가 아니라, 변화하는 위험을 전제로 안전하게 운영을 지속할 수 있는 체계를 구축하는 것이다. 이번 인터뷰에서 이노우에 (이노우에) 씨가 반복적으로 강조했던 것은 '만능한 대책은 존재하지 않는다'는 생각이었다. AI 보안은 제품을 도입해서 끝나는 것이 아니라, 공격을 이해하고 위험을 평가하며 개선점을 쌓아 올려가는 지속적인 노력이다.
원문 보기 | 출처: Ledge.ai