# NVIDIA는 AI 안전 연구에 2억 5000만 달러를 투자합니다. AI 에이전트는 왜 ‘지능’만으로는 부족할까요? > https://bookfactory.kr/board/ai-tech/21852 > 게시판: AI·머신러닝 > 작성자: admin > 작성일: 2026-10-15T07:18:26.148Z --- 2026년 10월 14일, NVIDIA는 영국 AI 안전성 및 보안 연구에 대해 향후 5년간 총 2억 5천만 달러 상당의 컴퓨팅 자원을 제공할 계획을 발표했다. 주목해야 할 점은 이번 지원이 단순한 AI 성능 향상을 넘어, 자율적으로 행동하는 AI 에이전트의 안전성에 중점을 두고 있다는 것이다. 왜 세계적인 AI 반도체 기업이 안전성 연구에 이렇게 막대한 자원을 투입하는 것일까. 그 배경에는 AI가 “질문에 답하는 존재”에서 “실제로 행동하는 존재”로 진화하고 있기 때문이다. 1. NVIDIA는 무엇을 발표했나? 이번 NVIDIA가 발표한 것은 영국 연구 기관에 대한 5년 지원 계획이다. 지원 금액은 연간 5천만 달러 상당, 총 2억 5천만 달러이다. 다만, 여기서 중요한 점은 현금을 그대로 기부하는 것이 아니라, AI 연구에 필요한 컴퓨팅 자원を提供するという点이다. AI의 안전성을 검증하려면 막대한 실험이 필요하다. 예를 들어, AI에 위험한 지시를 주었을 때, 적절하게 거부할 수 있는가. 예상치 못한 상황에서 어떤 판단을 하는가. 이러한 테스트를 대규모로 실시하려면 고성능 GPU나 컴퓨팅 환경이 필수적이다. 지원 대상에는 옥스포드 대학교를 주도하는 BOLD, 유니버시티 칼리지 런던을 주도하는 SOFAIR, 인페리얼 칼리지 런던 등이 포함된다. 연구 대상은 안전한 AI 에이전트, 오픈 모델의 보안, 로봇의 안전성 등이다. 2. 왜 AI 에이전트에는 특별한 안전성이 필요한가? 기존의 챗봇 AI는 기본적으로 인간의 질문에 답변하는 데 중점을 두었다. 답변에 오류가 있으면 사람이 확인하고 수정할 수 있습니다. 하지만 AI 에이전트는 다릅니다. 예를 들어, AI에 “출장 준비를 해줘”라고 지시하는 경우를 생각해 봅시다. AI 에이전트는 일정을 확인하고, 교통 수단을 검색하고, 호텔을 비교하고, 예약 절차를 진행하는 등 여러 작업을 수행할 수 있도록 설계될 수 있습니다. 여기서 문제가 되는 것은 잘못된 판단이 실제 작동으로 이어질 가능성입니다. 날짜를 잘못해서 예약하거나, 잘못된 사람에게 이메일을 보내거나, 중요한 파일을 삭제하는 경우입니다. 단순한 문장의 오류나 외부 서비스의 오작동과는 영향의 크기가 다릅니다. 즉, AI 에이전트는 정확한 답변 능력뿐만 아니라 안전하게 행동하는 능력도 요구되는 것입니다. 3. AI 에이전트가 필요로 하는 4가지 안전 설계는 AI를 안전하게 행동시키기 위해서는 무엇이 필요한가요? 대표적인 설계를 4가지 소개합니다. ① 모든 파일과 서비스에 자유롭게 접근할 수 있는 상태는 위험합니다. 예를 들어 기사 작성 담당 AI의 경우, 원고의 보관은 허용하지만, 고객 정보의 조회나 결제 작업까지 허용할 필요는 없습니다. 담당하는 업무에 필요한 권한만 부여하는 것이 중요합니다. ② 중요한 작동에는 인간의 승인을 挟む AI가 초안을 만들고 공개하는 것은 다릅니다. 이메일 전송, SNS 게시, 구매, 데이터 삭제 등 취소가 어려운 작동에는 인간의 승인을 설정하는 것이 효과적입니다. 모든 것을 자동화하는 대신, 위험에 따라 인간의 판단을 남겨두어야 합니다. ③ 행동을 기록하고, 나중에 검증할 수 있도록 하는 AI가 무엇을 조사하고, 어떤 정보를 사용하고, 어떤 작동을 실행했는지. 이러한 기록이 없다면, 문제가 발생해도 원인을 추적할 수 없습니다. 작동 이력이나 오류 기록은 안전 성능뿐만 아니라 품질 개선에도 도움이 된다. ④ 예상치 못한 동작을 시작했을 때, AI가 이상이 발생하면 즉시 중단할 수 있는 메커니즘 또한 중요하다. 예를 들어, 동일한 처리를 반복하거나, 허용되지 않은 작업을 요청하거나, 비정상적인 횟수의 외부 접근을 수행하는 경우 등이 있다. 이러한 징후를 감지할 경우, 처리를 중단하는 설계가 필요하다. 다만, 중단 기능만으로 모든 문제를 해결할 수 있는 것은 아니다. 권한 제한이나 승인 등 여러 가지 대책을 병행하는 것이 중요하다. 4. 왜 NVIDIA가 안전 연구를 지원하는가? NVIDIA는 GPU 등 계산 기반을 제공하는 기업이다. AI가 고도화되면 필요한 계산 자원도 늘어날 것이다. 하지만 안전성에 대한 우려가 해소되지 않으므로, 기업이나 사회가 AI 에이전트를 도입하는 데 걸림돌이 될 수 있다. 따라서 안전 연구를 지원하는 것은 AI 기술의 보급을 지원하는 노력이라고도 볼 수 있다. 이번 발표에서는 격리된 실행 환경인 “샌드박스”나 동일한 조건에서 재현 가능한 연구, 안전성 평가 기준 마련 등이 연구 대상으로 언급되었다. 이는 AI를 단순히 고성능으로 만드는 것뿐만 아니라, 실제 환경에서 안전하게 이용할 수 있는 기술로 발전시키려는 움직임으로 주목받고 있다. 5. 차세대 AI 경쟁은 “성능”만으로는 결정되지 않는다 지금까지 AI의 진화는 추론 능력, 답변 정확도, 처리 속도 등으로 이야기되어 왔다. 하지만 AI 에이전트가 일을 맡게 되면 평가 기준은 더욱 넓어질 것이다. 정확하게 판단할 수 있는가, 허용된 범위 내에서만 행동할 수 있는가, 실수를 감지할 수 있는가, 문제가 발생했을 때 중단할 수 있는가, 사람이 뒤에서 검증할 수 있는가 등이다. 이러한 능력들이 AI의 실용성을 좌우하게 될 것이다. 핵심은 AI가 자율적으로 행동하는 것과 인간의 관리에서 벗어나는 것이 동일하지 않다는 점이다. 오히려, 고도화된 자율성을 실현할수록, 이를 뒷받침하는 관리 기술이 필요해진다. 요약｜AI의 미래를 결정하는 것은 “지능”과 “신뢰성” NVIDIA의 2억 5천만 달러 상당의 컴퓨팅 자원 제공 계획은 AI 안전 연구의 중요성을 보여주는 움직임이다. 앞으로의 AI에는 뛰어난 답변을 생성하는 것뿐만 아니라, 현실의 환경에서 안전하게 행동하는 능력이 요구된다. 물론, 이번 지원으로 인해 AI 에이전트의 안전성이 보장된 것은 아니다. 연구 결과가 어떤 평가 방법이나 안전 대책으로 이어질지, 향후 검증이 필요하다. AI가 인간의 일을 지원하는 존재에서, 실제로 일을 수행하는 존재로 진화하는 지금, 앞으로 요구되는 것은 “얼마나 똑똑한가” 하는 것이 아니라, “얼마나 안심하고 맡길 수 있는가” 혹시도 그것일까. **출처:** [note 원문](https://note.com/gabu_007/n/n1eb093a37837) *번역: Gemma 3(.44) 초벌 + 교정 검수* [원문 보기](https://note.com/gabu_007/n/n1eb093a37837) | 출처: note.com