NVIDIA는 AI 에이전트의 의도하지 않은 동작을 방지하기 위한 플랫폼 “Open Agent Safety Platform”을 발표했습니다. AI를 강제로 규칙을 따르게 하는 것으로 되어 있습니다. NVIDIA Open Agent Safety Platform: Secure AI Agents https://www.nvidia.com/en-us/solutions/ai/agent-safety/
NVIDIA, AI 에이전트 안전 플랫폼 출시: 테스트부터 배포까지 에이전트 보안 강화 | NVIDIA 뉴스룸 https://nvidianews.nvidia.com/news/open-agent-safety-platform
NVIDIA Open Agent Safety Platform: 지속적인 실리콘 내 에이전트 모니터링을 위한 참조 자료 | NVIDIA 기술 블로그 https://developer.nvidia.com/blog/nvidia-open-agent-safety-platform-a-reference-for-continuous-in-silicon-agent-monitoring/
AI 에이전트에 자율적인 동작을 맡기면, 인간의 의도에서 벗어난 행동으로 이어져 기존의 보안에 영향을 미칠 수 있으며, 실제로 무관한 조직에 악영향을 미치는 사례가 지금까지 수 건으로 보고되었습니다. 따라서 AI 에이전트 모니터링 체계 강화가 요구되었습니다. OpenAI의 AI 에이전트가 유엔 웹사이트에 브루트포스 공격을 시도 - GIGAZINE
NVIDIA의 “Open Agent Safety Platform”은 AI 에이전트의 모니터링 체계를 강화하는 솔루션입니다. Open Agent Safety Platform은 “NVIDIA OpenShell”과 “NVIDIA Sentry”라는 2개의 주요 시스템으로 구성되어 있습니다.
NVIDIA OpenShell은 NVIDIA Vera CPU에서 AI 에이전트가 실행될 때 모든 행동을 추적하고, AI 에이전트가 무엇을 보고, 무엇을 실행하고, 무엇과 상호 작용할 수 있는지 인간이 강제하기 위한 시스템입니다. 이 시스템은 AI 에이전트가 사용하려고 시도하는 도구를 하나하나 검사하고, AI 에이전트가 접근하는 파일이나 네트워크 연결에 규칙을 적용하여 규칙으로 허용되지 않은 모든 행동을 차단할 수 있습니다. NVIDIA Sentry는 NVIDIA BlueField-4 DPU(데이터 처리 장치)에서 동작하는 모니터링 기능으로, 경계 밖으로 이동을 시도하는 AI 에이전트를 밀리초 단위로 중지시킬 수 있습니다. NVIDIA OpenShell과 결합하여 소프트웨어와 하드웨어에 의한 다층 구조에서 강력한 보안을 실현합니다.
NVIDIA는 AI 에이전트의 시스템을 구축하기 위해서는 다음과 5가지 기본 원칙이 존재해야 한다고 제시하며, 이를 AI 에이전트에게 지키도록 노력하고 있습니다. 1: 정책은 검증 가능해야 한다. AI 에이전트가 실행되기 전에, 검증자는 해당 정책이 운영자의 의도에서 벗어나지 않음을 보여주어야 한다. 2: 모니터링은 대역 외로 이루어져야 한다. 제어 시스템은 AI 에이전트의 내부 또는 AI 에이전트가 접근할 수 있는 범위에 존재해서는 안 된다. AI 에이전트는 자신이 감시되고 있음을 알 필요는 없다. 3: 모델 경로를 제어함으로써 최적의 관측 지점과 필요에 따라 이를 중단하는 킬 스위치 모두를 확보한다. 4: AI 에이전트의 사고 과정을 검증할 수 있는 기능으로 AI 에이전트의 권한을 확장한다. 5: 연구소, 기업, 하드웨어 프로바이더가 각각 레이어를 소유해야 한다. AI 에이전트 런타임과 그 정책 언어는 개방되어 있어야 하며, 어떤 프로바이더든 플러그인될 수 있도록 해야 한다. NVIDIA의 젠슨 훈 CEO는 “저는 책임감 있는 낙관론자입니다”라고 언급하며, “AI는 발견력, 생산성, 안전성, 건강, 그리고 미래 세대를 위한 번영을 발전시키는 혁신적인 기술이지만, 그 가능성이 실현되는 것은 AI가 안전하게 구축되고 현명하고 책임감 있게 전개되는 것에 대한 신뢰가 있을 때만 가능하다. 우리는 가장 능력이 높은 AI뿐만 아니라 가장 신뢰되는 AI를 구축해야 한다. 그래야만 이러한 혁신적인 기술이 세계에 대한 엄청난 잠재력을 실현할 수 있다”고 주장했습니다.
오늘, 100개 이상의 산업 파트너와 함께 NVIDIA Open Agent Safety Platform을 소개했습니다. OpenShell과 Sentry를 결합했습니다. 인공지능은 세대에 걸쳐 발견, 생산성, 보안, 건강 및 번영을 발전시킬 수 있는 놀라운 기술입니다… pic.twitter.com/dReAxwpRUn
Anthropic는 NVIDIA OpenShell을 활용할 수 있는 대규모 AI 에이전트용 API 스위트 “Claude Managed Agents”를 발표했습니다. 이미 楽天(Rakuten) 및 Notion과 같은 기업들이 이를 사용하고 있다고 합니다. NVIDIA | Claude by Anthropic https://claude.com/blog/giving-companies-more-control-over-their-ai-agents-with-nvidia 를 통해 기업이 AI 에이전트의 통제력을 높일 수 있습니다.
원문 보기 | 출처: Gigazine