AI의 오류가 화면 속에서만 끝나지 않는 시대가 시작되고 있습니다.
2026년 9월 18일, Reuters는 Anthropic이 샌프란시스코 베이 지역에 생물학적 물리 실험을 수행하는 왓치드라보(wet lab)를 설치했다는 소식을 보도했습니다.
Anthropic는 이미 이 시설에서 실제 생물학 실험을 진행하고 있습니다. 더 나아가 해당 회사가 목표하는 것은 Claude가 실험용 로봇을 지휘하고, 인간의 개입을 제한하면서 실험을 진행하는 형태입니다.
대상은 주로 전임상 연구에 초점을 맞추고 있으며, 희귀 질환 등에 대한 응용도 고려하고 있습니다. Anthropic 자체는 인간의 감독이 안전상 필수적이라고 주장하고 있습니다.
이는 단순한 “AI×신약” 뉴스가 아닙니다.
기업에게 중요한 것은 AI의 작용 대상이 정보 공간에서 물리 세계로 확장되기 시작한다는 점입니다.
문장상의 오류와 물리적 작동 오류는 동일하지 않습니다.
생성형 AI가 문장을 틀렸다.
코드를 잘못 썼다.
이 경우, 대부분 사람이 확인하고 수정할 수 있습니다.
하지만 AI가 로봇에게 명령을 내리고 있습니다.
- 시약을 혼합한다
- 샘플을 옮깁니다.
- 온도와 시간을 조절하세요.
- 장치를 가동하시오.
- 실험 과정을 다음 단계로 진행
지금까지 이렇게 진행하면 본질이 바뀝니다.
한 번 실행된 작업을 완벽하게 되돌릴 수 없는 경우가 있기 때문입니다.
즉, AI를 평가할 때에는 정확성만 보기는 아닙니다.
잘못했을 때 되돌릴 수 있는지.
이 부분이 중요합니다.
AI를 기업에 도입할 때, 저는 위험을 평가하는 기준으로 삼습니다.
가능성
영향력
검지성
그것을 중시하고 있습니다.
실수로도 쉽게 되돌릴 수 있습니다.
영향 범위가 작습니다.
이상함을 즉시 감지할 수 있다.
이 조건이라면 자동화 가능한 범위를 더욱 확장할 수 있습니다.
반대로
돌려받을 수 없습니다.
영향 범위가 크다.
실수를 알아차리기 어렵습니다.
이러한 조건이 성립될수록 인간의 승인이나 독립 확인을 우선적으로 고려해야 합니다.
웨트랩은 그 차이를 매우 명확하게 보여줍니다.
인간이 감독하고 있음을 알 뿐으로는 부족하다.
여기 또 다른 문제가 있습니다.
인간의 감독하에 안전하다.
이 설명입니다.
물론, 인간 감독은 필요합니다.
그러나 AI 에이전트나 로봇이 고속으로 연속적으로 움직이기 시작하면, 모든 처리를 인간이 한 건씩 확인하는 Human-in-the-Loop 방식에서는 AI를 사용하는 의미 자체가 퇴색됩니다.
따라서 인간이 항상 처리 과정에 직접 개입하는 것이 아니라, AI의 움직임을 감시하고 필요한 시점에 개입하는 Human-on-the-Loop로 전환해 나갈 것입니다.
하지만, 이는 당연히 위험이 상승합니다.
그러니 필요한 것은
사람이 인지하는 것이 아니라, 사람이 개입할 수 있는 구조를 먼저 구축하는 것입니다.
예를 들어,
AI는 어떤 장치를 조작할 수 있는가?
어떤 조작을 금지하는지 묻는 건가요?
어느 숫자를 넘어서면 인간 승인이 필요한가.
비정상적인 상황에서 누가 정지시킬 수 있는지.
중단 명령이 현재 AI의 작업보다 우선되는지 확인하는 것이냐.
실행된 모든 작업이 기록되는가.
정지 후 안전 상태로 복귀 가능한지 확인합니다.
이러한 조건을 실행하기 전에 미리 결정해 두어야 합니다.
AI 에이전트에서는 “권한 목록”이 중요합니다.
이제 기업에서 필요로 할 것은 단순한 AI 이용 약관을 넘어선,
AI에 부여한 권한 자체를 관리하는 시스템
저는 그렇게 생각합니다.
인사이더 직원에게도 직무 권한이 있습니다.
담당자가 자유롭게 억 단위의 송금을 하거나, 중요 설비를 중단할 수 있는 회사는 없습니다.
한편, AI가 되면,
성능이 뛰어나서
자동화가 더 효율적이기 때문입니다.
그렇기 때문에 이메일 전송, 발주, 시스템 변경, 설비 운영에 이르기까지 모든 것을 한 번에 제공하게 될 수 있습니다.
그러니 순서가 반대입니다.
성능이 향상될수록 권한 설계가 더욱 중요해집니다.
앤트로픽의 왓츠랩과 같은 세계에서는, AI마다 최소한,
허용되는 행위
금지 행위
인간의 인정을 필요로 하는 행위
긴급 정지 조건
실행 기록
이를 달성하기 위해서는 상당한 노력이 필요합니다.
기업에서 AI 에이전트(챗봇)를 사용하는 경우도 본질은 같습니다.
AI를 멈출 수 있다는 것만으로는 충분하지 않다
물리 세계에서는 멈춤 버튼만으로는 충분하지 않습니다.
AI가 잘못된 작업을 실행한 후 중단해도 이미 결과가 발생했을 수 있습니다.
그러므로 중요한 것은,
멈추는 것보다 어디까지 실행할지를 먼저 명확히 하는 것이 더 효과적이다.
오늘은 제가 최근 읽은 책에 대해 이야기하겠습니다.
이 책은 제목이 ‘너는 별처럼’이며, 나리야마 유우의 작품입니다.
이 이야기는 한 남자가 한 여자에게 사랑을 느끼는 이야기입니다.
이야기는 주인공 사쿠라 만게가 한 여자, 호시카와 시즈쿠를 만나면서 시작됩니다.
호시카와 시즈쿠는 어딘가 몽환적이고 신비로운 분위기를 가지고 있습니다.
사쿠라 만게는 호시카와 시즈쿠에게 끌리게 됩니다.
그리고 두 사람은 여러 가지 일들을 겪으면서 사랑을 깊게 해 나갑니다.
이 책은 아름다운 문장으로 쓰여 있어 읽고 있으면 마음이 정화되는 듯한 느낌을 줍니다.
또한, 이 책은 현대 사회에서 인간의 고독과 사랑의 형태에 대해 생각하게 만드는 작품입니다.
저는 이 책을 읽고 정말 감동했습니다.
여러분도 꼭 한번 읽어보세요.
이는 인공지능 책임 설계의 문제입니다.
AI에게 무엇을 판단하게 할 것인가.
그것까지 얼마나 허용할 것인가.
인간이 어디에서 확인하는가.
누가 정지 권한을 가지고 있는가.
누가 최종 결정을 내릴 것인가.
누가 그 설계를 독립적으로 확인하는가?
AI가 정보를 “제안하는” 단계와 AI가 현실 세계에 “작용하는” 단계에서는 동일한 책임 설계를 적용할 수 없습니다.
AI는 더 이상 PC 안이라는 제약 없이 존재할 수 있습니다.
Anthropic는 9월 17일, 생명과학 분야를 위해 일반 제공 모델보다 생물학 관련 이용 범위를 넓힌 “Life Sciences Verification Program”을 발표했습니다. 신약 개발, 연구 생물학, 임상 개발, 제조 등에 대한 AI 활용을 확대하는 움직임입니다.
이번 웨트랩은 그 다음의 것을 보여주고 있습니다.
AI는 생각한다.
AI는 도구를 선택한다.
AI는 로봇에게 지시를 내린다.
물리 세계에서 결과가 발생한다.
결과를 보고 AI가 다음 행동을 결정한다.
이 루프가 점점 더 빠르게 진행됩니다.
중요한 것은 Anthropic이 위험한 일을 시작했다는 이야기가 아니라는 것입니다.
오히려 그렇습니다.
안전성을 극히 중시해 온 기업들조차도 AI의 활용 영역을 물리 세계로 확장하고 있다.
그러므로 기업 측도,
AI 답변을 누가 확인하는가
이 단계부터
AI에게 어떤 작업을 수행할 권한을 줄 것인가?
그 단계로 나아가야 합니다.
AI는 화면 속뿐 아니라 현실 세계에도 존재할 수 있습니다.
그때 마지막으로 요구되는 것은 AI가 얼마나 현명한가 하는 것이 아니라, AI의 능력 그 자체입니다.
그 AI에게 현실을 얼마나 움직이는 권한을 부여했는지.
그리고,
그 권한은 인간이 진정으로 통제할 수 있도록 설계되었던 것일까.
그것이 핵심입니다.
출처: note 원문
번역: Gemma 3(.44) 초벌 + 교정 59청크
원문 보기 | 출처: note.com