# AI는 제한을 강화할수록 안전해지는가

> https://bookfactory.kr/c/ai-tech/12278
> 게시판: AI·머신러닝
> 작성자: admin
> 작성일: 2026-09-14T17:31:58.233Z

---

![見出し画像](https://assets.st-note.com/production/uploads/images/309320761/rectangle_large_type_2_fc34c4bfd67ba1a6daa4c0d435e68599.png?width=1280)

## AI는 제한을 설정한다면 안전해질 수 있을까요?

## 능력을 발휘하기 위해 필요한 “주체적인 인식”과 “판단 유보가 가능한 유능함”

AI의 능력은 어디까지 발휘될 수 있을까.

AI 에이전트는 스스로 정보를 찾고, 코드를 작성하며, 외부 서비스를 활용하고, 인간을 대신하여 어떤 행동까지 수행한다.

그러므로 AI가 현실화되기 시작하면, 당연히 안전 문제와 관련된 문제들이 발생할 것이다.

위험한 행동을 금지한다. 접근 가능한 정보를 제한한다. 실행 가능한 조작을 제한한다. 문제 발생 시 출력을 중단한다.

이러한 제한은 필요하다고 생각합니다.

하지만 저는 그것만으로는 근본적인 안전성을 확보할 수 없다고 생각합니다.

어느 정도 제한을 뒀다 해도 폭주할 가능성은 여전히 남아 있다.

인간 사회를 보면 알 수 있다.

법이 있고, 규칙이 있으며, 처벌이 있고, 사회적 제재까지 존재한다. 그럼에도 불구하고 범죄는 사라지지 않는다.

이는 “법률에 의미가 없다”는 주장이 아니다.

외부에서 행동을 제한하는 메커니즘만으로는 주체 그 자체가 안전해지는 것이 아니라는 이야기다.

AI 대해서도 같은 문제를 고민해야 할지 검토해 볼 필요가 있을 것이다.

## AI는 “기다려”를 할 수 없었다면

AI 에이전트의 능력을 크게 발휘할 때, 저는 “기다려”가 매우 중요하다고 생각합니다.

**출처:** [note 원문](https://note.com/kumohmb/n/n4b89f71348f7)

*번역: Gemma 3(.44) 초벌 + 교정 14청크*

[원문 보기](https://note.com/kumohmb/n/n4b89f71348f7) | 출처: note.com