생성 AI 및 AI 에이전트 도입이 기업에서 가속화되는 가운데, “AI를 어떻게 안전하게 사용해야 하는가”라는 질문은 더욱 중요해지고 있다.
많은 기업에서는 AI 활용 가이드라인 제정, 프롬프트 기반 제어, 가드레일 도입 등 다양한 조치가 진행되고 있다. 하지만 이러한 조치를 쌓는 것만으로 AI가 진정으로 안전해질 수 있을까.
이 질문에 한 방을 쏘아 맞춘 곳이 바로 AI 보안 연구 개발 및 기업용 솔루션 제공 기업인 엘리스(Elith)이다. 이 회사는 방어용 프롬프트를 늘려도 공격에 대한 저항성은 높아지지 않고 오히려 공격자가 유리해지는 경우도 있다는 연구 결과를 제시했다.
AI 보안은 기존 정보 보안과 무엇이 다른가? 그리고 기업은 AI 시대의 위험에 어떻게 대처해야 하는가. 엘리스(Elith) 대표取締役 이노우에 게요시(井上顧基)에게 이야기를 들어보았다.
※ 인터뷰는 2026년 8월 4일에 진행되었다.
엘리스(Elith)
대표取締役 CEO/CTO
이노우에 게요시(井上顧基)
북리히 첨단 과학 기술 대학원 대학원에서 양자 컴퓨터의 재료 탐색 연구로 석사 학위를 취득했다. 회사 경영과 동시에 동북대학교 의학연구과에서 의료 AI 연구에 참여한 박사 후 과정. 연구 성과로서 의학물리학 최고 컨퍼런스인 AAPM에서 채택되어 연구 발표를 진행했다. 저서로서 “실무 수준에서 이해하고 활용할 수 있는 Git 입문 명령어 연습 80(슈와 시스템)” 및 “니케이 린눅스(니케이BP)”에서 대규모 언어 모델에 대한 기사를 기고하는 등 활발하게 활동하고 있다.
## AI 보안은 “침입을 막는” 것에서 “침입을 허용하는 전제”로
“기존 보안과의 가장 큰 차이는,そもそもブロック할 수 없다는 점입니다.”
이노우에 氏は開口一番, そう語った. 기존 정보 보안에서는 외부からの攻撃을 ファイアウォールなどで遮断し、システム内部へ侵入させないことが基本的な考え方だった.一方, 生成AI는 チャットインターフェースを介してユーザーから自然言語を受け取り、それを処理する仕組みである.つまり、「入力されること”そのものが前提となっている. 이노우에 氏は,この構造の違いこそがAIセキュリティを難しくしている要因だと説明する.
“チャットベースなので、もう入られているんですよ.今までのように"入る前に止める"という発想が通用しません.”
だからこそ,防御の考え方も大きく変わる.AIでは“侵入を防ぐ”ことよりも、“侵入されたあとにどう振る舞うか”,”どのように被害を限定するか”という設計が重要になる.
さらにAIセキュリティには,もう一つ従来と異なる特徴がある.それは,セキュリティ対策だけでは完結しないことだ.従来であれば,脆弱性を発見した後はセキュリティ製品を導入して防御するというアプローチも成立した.しかしAIでは,脆弱性が見つかった場合,そのシステム自体の設計やワークフローを見直さなければ根本的な解決にならないケースが多い. 이노우에 氏は,以下のように警鐘を鳴らした.
“AIセキュリティ会社が‘このシステムは危険です’と言うだけでは意味がありません‘では、どう直すのか’まで考えられなければ、本当の意味でAIセキュリティは成立しないんです.”
## “가드레일을 늘려도 안전”은,사실에서는 그렇지 않았다
AI의 안전성을 높이는 방법으로, 많은 기업이 먼저 떠올리는 것이 “시스템 프롬프트를 개선하는 것”이다. “이 정보는 절대 출력해서는 안 돼”, “이 질문에는 대답하지 마라”와 같은 규칙을 작성하여 가드레일을 강화하면 안전성도 높아질 것이라는 생각을 자연스럽게 할 것이다. 하지만 Elith가 발표한 연구는, 그 일반론과는 다른 결과를 보여주었다.
연구의 계기가 된 것은, 프롬프트 인젝션을 주제로 개최한 공격 및 방어 경진대회였다. 방어측과 공격측으로 나뉘어, AI를 어떻게 공격하고 방어할 수 있는지 경쟁하는 과정에서, 이노우에 박사 연구팀은 특정한 현상에 주목하게 되었다.
“방어측은 프롬프트를 길게 하면 막을 수 있다고 생각하는 경향이 있습니다. 하지만 실제로는 그렇지 않았습니다.”
카베타 엘리트 이노우에 박사
연구에서, 방어측은 시스템 프롬프트를 변경하면서 방어 성능을 높이려고 했고, 반면 공격측은 공격 프롬프트를 변화시키면서 침투를 시도했다. 그 결과, 방어 프롬프트를 복잡하게 하더라도 공격측의 우위는 바뀌지 않았다. 오히려 공격측은 프롬프트를 개선함으로써 공격 능력을 높이는 한편, 방어측에게는 할 수 있는 일이 제한되었던 것이다.
이 연구가 보여준 것은 “가드레일을 쌓으면 안전해진다”는 생각만으로는 AI를 충분히 보호할 수 없다는 것이다.
## AI 에이전트 시대는 공격도 “지적으로” 변한다
AI 에이전트의 보급으로 인해, 공격 기법 또한 크게 변화할 것이라고 이노우에 박사는 지적한다. 기존의 사이버 공격은 한 번 침투하여 취약점을 이용하는 경우가 많았다. 하지만 AI 에이전트는 자율적으로 상황을 판단하면서 공격 방법을 변화시킬 수 있다. 예를 들어, 한 번 공격하여 반응을 보고, 실패하면 다른 방법을 시도하고, 성공의 징후가 나타나면 공격을 더욱 강화하는 식으로 진행될 수 있다. 이러한 시도착오를 AI 스스로 반복할 수 있게 되는 것이다. 이노우에 박사는 이를 “파도 공격”과 같은 것으로 표현한다.
“처음에는 상황을 지켜보고, 잘 될 것 같으면 한 걸음 더 내디딘다. 더 다른 에이전트를 사용하여 공격한다. 그런 다단계 공격이 앞으로는 일반화될 것이라고 생각합니다.”
방어측이 한 번 공격을 막아내면 끝이 아니다. 공격이 계속 변화하기 때문에, 방어 또한 고정화할 수 없다. 따라서, 하나의 대책에 의존하는 것이 아니라, 여러 가지 방어 대책을 조합하면서 지속적으로 검토해 나가는 사고방식이 필요하다.
## AI 거버넌스는 “단 하나의 정답”을 찾는 것이 아니다
그러면 기업은 AI를 어떻게 운영해야 할까?
이노우에 박사가 반복해서 강조한 것은 “이 정도만 하면 안전하다”는 대책이 존재하지 않는다는 것이다. 그 생각의 배경에는, AI 보안은 “다층 방어”로 생각해야 한다는 사고방식이 있다.
예를 들어, 기밀 정보를 다루는 업무에서는, 인터넷으로부터 분리된 폐쇄망이나 로컬 모델을 활용한다. 반면에 일반 부서에서 사용하는 생성 AI에 대해서는, DLP(Data Loss Prevention) 등을 활용하여 정보 유출이 발생했는지 지속적으로 감시한다. 더 나아가, 직원들이 회사의 허락을 받지 않은 AI 서비스를 이용하는 “섀도우 AI”에 대한 대책도 필요하다. 즉, “경계형 보안”인지 “제로 트러스트”인지라는 이분법적인 선택이 아니라, 각각을 조합하는 것이 중요하다는 것이다.
“이 정도만 해놓으면 괜찮을 거 같다”는 생각이 가장 위험하다고 생각합니다.”
생성 AI 활용이 경영 과제로 떠오르는 가운데, 많은 기업에서는 “전사 도입”을 표방하는 움직임도 보이고 있다. 그러나 이노우에(井上)氏は, 이러한 흐름에 대해 신중한 태도를 보이고 있다. 물론 AI 활용 자체를 부정하고 있는 것은 아니다. 오히려 “어느 정도 AI를 사용해야 하는가”를 충분히 설계하지 않은 채 이용 범위만 확장하는 데에는 위험이 있다는 것이다.
“AI를 전사적으로 사용하자는 것은 긍정적인 생각이라고 생각합니다. 하지만 지금은 아직 모르는 것이 많습니다. 최악의 경우를 생각하면서 단계적으로 도입하는 것이 좋겠습니다.”
실제로 해외에서는 EU AI 규정법을 비롯한 규제 정비가 진행되고 있으며, AI의 안전성에 대한 논의는 급격히 활발해지고 있다. 이노우에(井上)氏自身도 해외 컨퍼런스에 참여하는 과정에서 “AI 보안은 정말 위험한 영역이 되고 있다”는 위기를 피부로 느꼈다고 한다. 그래서 더욱 중요한 것은 유행에 맞춰 AI를 확대하는 것이 아니라, 자사의 업무와 정보 자산에 따라 적절한 이용 범위를 설계하는 것이다.
## AI 보안에 필요한 것은 “공격(攻撃)을 아는 능력”
AI 보안에서 중요한 것은 취약성을 찾는 것이 아니라, 그 위험을 이해하고 개선에 연결하는 것이다. 이노우에(井上)氏は, 진단만으로는 충분한 가치를 내지 못한다고 지적한다.
“공격자보다 위에 있어야 방어가 가능합니다. 그래서 우리는 공격자도 연구합니다.”
AI 에이전트의 보급으로 인해 AI를 노린 공격 방법도 급격히 진화하고 있다. 프롬프트 인젝션(プロンプトインジェクション)이나 정보 유출(情報漏えい) 등 기존 애플리케이션 보안과는 다른 위험이 발생하는 가운데, 방어하는 측도 또한 공격 방법을 이해하고 지속해야 한다.
AI 활용이 확대될수록 중요해지는 것은 “AI를 어떻게 제어할 것인가”가 아니라, 변화하는 위험을 전제하고 안전하게 운영을 지속할 수 있는 체계를 구축하는 것이다. 이번 인터뷰에서 이노우에(井上)氏가 반복적으로 이야기했던 것은 “만능(万能)한 대책(対策)은 존재하지 않는다”는 생각이었다. AI 보안은 제품을 도입해서 끝나는 것이 아니라, 공격을 이해하고 위험을 평가하면서 개선을 쌓아 올려가는 지속적인 노력이다.
원문 보기 | 출처: Ledge.ai