AI 에이전트에게 일을 맡길 때는 똑똑함뿐만 아니라 '실행 시 무엇을 허용하고 무엇을 차단할지'가 중요합니다. 최신 논문 "Agent Safety Should Be a Runtime Contract"는 AI 안전성을 모델의 성격이 아니라 실행 환경이 강제하는 계약으로 설계해야 한다고 제안합니다. 일반적인 업무에서 무엇이 달라지는지 알기 쉽게 설명합니다.
왜 '안전한 AI'만으로는 부족한가
현재 AI 안전성은 학습 단계에서 위험한 답변을 피하도록 조정하는 방법이 중심입니다. 하지만 AI 에이전트는 단순히 문장을 반환하는 데 그치지 않습니다. 파일을 변경하고, 메일을 보내고, 데이터베이스를 수정하며, 외부 서비스를 제어합니다.
모델이 평소에는 신중하더라도 모호한 지시나 예상치 못한 상황에서 오작동할 가능성은 남아 있습니다. 이에 논문이 제안하는 것이 AI의 행동에 기대는 데 그치지 않고 실행 환경 측에서 금지 사항을 강제하는 '런타임 계약'입니다.
런타임 계약이란 무엇인가
런타임 계약은 AI가 행동하는 순간에 적용되는 규칙입니다. 예를 들어 "고객에게 전송하려면 사람의 승인이 필요하다", "삭제할 수 있는 것은 임시 폴더뿐이다", "1시간당 지출 한도는 1,000엔이다"와 같은 조건을 AI 스스로는 해제할 수 없는 곳에 둡니다.
중요한 것은 모델이 규칙을 '이해하고 지키는' 것이 아닙니다. 규칙을 위반하는 조작 자체가 실행될 수 없도록 하는 것입니다. 시트벨트 주의 문구가 아니라 물리적 브레이크에 가까운 발상입니다.
논문이 보여주는 두 얼굴
1. 허용되는 행동의 경계
AI가 읽을 수 있는 파일, 호출할 수 있는 도구, 사용할 수 있는 금액, 운용할 수 있는 시간대를 한정합니다. 권한을 최소화하면 실패하더라도 피해 확산을 억제할 수 있습니다.
2. 지켜지고 있다는 증거
규칙을 설정하는 데 그치지 않고 누가 무엇을 허용했는지, AI가 무엇을 실행했는지, 어디서 차단되었는지를 기록합니다. 감사 로그와 승인 이력이 없으면 안전성을 사후에 설명할 수 없습니다.
업무용으로 사용한다면 먼저 정해야 할 3가지
전송과 공개는 사람이 확인합니다.
이메일 전송, SNS 게시, 고객 응대, 외부 공개는 초안까지는 AI에 맡기더라도 최종 작업은 사람이 확인하도록 설계하는 것이 현실적입니다.
삭제와 덮어쓰기는 범위를 좁힌다
AI에게 모든 폴더의 권한을 넘기지 않고 작업용 영역에만 권한을 부여합니다. 원본 데이터는 그대로 남기고 변경 이력을 통해 되돌릴 수 있도록 합니다.
돈과 외부 서비스에는 상한을 둔다
API 이용료, 광고비, 구매 등은 1회·1일·1개월 상한을 설정합니다. 상한을 초과할 경우 자동으로 중단되고 사람의 확인을 요청합니다.
"편리함"과 "안전성"은 양립할 수 있다
사람이 모든 작업을 확인하면 안전하지만, 그렇게 하면 자동화의 가치가 떨어집니다. 핵심은 위험도에 따라 승인 절차를 나누는 것입니다.
읽기, 요약, 초안 작성, 테스트 환경에서의 처리는 자동화하기 쉽다. 반면 전송, 공개, 삭제, 과금, 프로덕션 환경 변경에는 엄격한 제약을 둔다. 이 경계가 명확하면 오히려 AI에 맡기는 범위를 넓히기 쉬워진다.
정리: AI의 인격이 아닌 메커니즘을 신뢰한다
AI 에이전트 시대의 안전성은 "이 모델이라면 괜찮다"고 믿는 것이 아닙니다. 실패하더라도 넘을 수 없는 경계를 만들고, 행동의 증거를 남기며, 중요한 작업에는 사람의 승인을 두는 것입니다.
AI의 지능은 진화합니다. 하지만 업무에서 안심하고 사용할 수 있는지를 결정하는 것은 모델 외부에 있는 체계입니다.
참고 자료
Albus W. Ng 외, "에이전트 안전성은 런타임 계약이어야 한다" https://arxiv.org/abs/2608.11274
※본 기사는 위 논문의 제안을 일반적인 업무 활용 관점에서 요약·해설한 것입니다.
출처: note 원문
번역: Gemma 3(.44) 초벌 + 교정 16청크
원문 보기 | 출처: note.com