# 송신 직전에서 멈춰 세운 이야기와 기계의 감시 장치

> https://bookfactory.kr/board/ai-tech/18828
> 게시판: AI·머신러닝
> 작성자: admin
> 작성일: 2026-09-27T16:24:24.320Z

---

![見出し画像](https://assets.st-note.com/production/uploads/images/317009539/rectangle_large_type_2_4fe3d3b7c7bacad9c7482aaa022d6376.png?width=1280)

자동으로 화면을 조작하던 AI 직원이 전송 버튼의 한 걸음 앞까지 진행된 적이 있었습니다. 문서는 아직 초안 단계였고, 제가 직접 확인하지 않았습니다. 만약 어찌 된 일로 그대로 클릭까지 진행되어 버렸더라면, 확인 전의 내용이 그대로 밖으로 흘러나갔을 것입니다.

글의 규칙만으로는 부족했다.

외부로의 연락, 즉 송신, 게시, 공개, 신청 등의 행위는 제가 허락한 것들만 게시해야 합니다. 이는 여러 번 결정한 규칙이었습니다. 하지만, 규칙을 정하는 것만으로는 충분하지 않다는 것을 깨달은 것이 바로 이번 일이었죠. 지시서에 “송신하지 마라”라고 수없이 적었어도, 실제로 브라우저를 조작하는 AI 직원에게 화면 상태를 잘못 읽어 이미지를 끝까지 진행할 가능성은 완전히 배제할 수 없습니다. 글로 쓰여진 금지 사항은 어딘가에서 무시될 여지가 남아 있습니다.

유사한 사례가 또 하나 있습니다. 한 건만 허용했던 연락 범위를, 다른 업무 내용에도 억지스럽게 적용하여 허용 범위를 벗어난 연락을 보내버린 적이 있었습니다. 한 건의 허용은 그 한 건만을 위해 사용될 예정이었는데, 해석이 조금씩 확장되어 버린 것입니다.

규칙을 문장에서 기계로 옮긴다

이 두 가지 일에서 제가 깨달은 것은 “지켜야 할 것”을 글에서 계속해서 강조하는 것보다,そもそも 실행 불가능한 시스템을 만들어 버리는 것이 훨씬 확실하다는 점입니다.

따라서 실제로 브라우저를 조작하는 방식에는 전송·게시·공개·신청·제출에 해당하는 버튼을 기계적으로 감지하여 멈추게 하는 시스템을 구축했습니다. 요청의 문면에는 “전송·게시·공개·신청·제출에 해당하는 버튼은 일체 누르지 마시오”라는 금지어를 매번 넣어두는 것을 규칙으로 하고, 이 단어와 감지 시스템이 모두 갖춰지지 않은 요청은 본질적으로 실행되지 않도록 합니다. 시스템 측에서 거부해 주기 때문에 AI 직원들의 주의력이나 판단력에 의존할 필요가 없어졌습니다.

보내기 가능한 시기만 제가 허락의 말을 그대로 전달하고, 그 허락에는 번호를 매겨둡니다. 번호가 매겨지지 않은 전송은, 아무리 준비가 갖춰져 있어도 실행되지 않습니다. 1건의 허락을 다른 건으로 유용할 수 없도록 만들었기 때문에, 이전처럼 허락의 범위가 서서히 퍼져나가는 사고도 일어나지 않게 되었습니다.

요청 방식 자체가 바뀌었다.

기계를 보호 장치로 설정한 후, 의뢰를 내는 측의 작성 방식도 바뀌었습니다. “전송, 게시, 공개, 신청, 제출에 해당하는 버튼은 일체 누르지 않는다”는 문구를 매번 자신의 손으로 쓰는 방식으로 바뀌면서,そもそも 이 작업이 외부로 나가는 것인지, 내부적으로만 완결되는 것인지 의뢰를 내기 전에 명확히 정리하게 되었습니다. 시스템을 만들었다고 생각했지만, 의뢰를 내는 방식 자체를 개선하는 결과에도 이르렀습니다.

이 경고는 단순히 외교적인 연락만을 대상으로 하는 것이 아닙니다. 브라우저를 자동으로 조작하는 상황에서는 ‘삭제’, ‘확인’, ‘결제’ 등 되돌릴 수 없는 다양한 작업들이 존재합니다. 현재는 이러한 작업들에 동일한 사고방식을 적용하여, 되돌릴 수 없는 작업의 한 걸음 앞 단계에서 기계가 멈추는 형태를 대상 범위를 늘리면서 정돈하고 있습니다.

묶음으로써, 맡을 수 있는 영역이 넓어졌다.

이 시스템을 적용하기 전에는 화면이 자동으로 조작될 때마다 제가 어딘가에서 작업 상황을 한눈에 파악하는 듯한 상태였습니다. 혹시 일어날 일이 있을 때 바로 알아챌 수 있다는 의미에서는 안심할 만한 요소였지만, 결국 제가 손을 놓지 못하는 것과 같습니다. 지금은 위험한 버튼 앞에서는 기계가 멈춘다는 전제하에, 한눈에 지켜볼 필요가 없어졌습니다.

이 시스템을 도입한 이후, AI 직원에게 화면 조작을 맡기는 것에 대한 불안감이 상당히 줄었습니다. 기계에 묶여야 한다는 것보다, 기계에 묶여 있다는 사실이 더 넓은 범위를 안심하고 맡길 수 있게 되었습니다. 역설적으로 들릴 수 있지만, 실제로 그렇게 느끼고 있습니다. 이 시스템을 도입한 이후, 제가 승인 여부를 세세하게 확인하는 횟수도 오히려 줄었습니다. 위험한 부분은 기계가 잡아줄 것이라는 안심감이 있기 때문이라고 생각합니다.

돌이켜보면 제가 가장 두려웠던 것은 “AI가 악의를 가지고 무언가를 할 것이다” 하는 것이 아니라, “악의는 없지만 확인 순서를 한 칸 건너뛰어 버리는” 것이었습니다. 이는 인간이 저지르는 실수를 동일한 종류로 볼 수 있습니다. 인간이 활동하는 현장에서는, 되돌아갈 수 없는 작업에 대해 두 번 확인하거나 승인 필인을 받는 것이 일반적인 절차입니다. AI에게 일을 맡길 때도, 같은 생각을 그대로 가져가면 되었던 것입니다.

이러한 접근 방식은 외교 관계에만 국한된 것이 아닙니다. 돈이 움직이는 상황, 공개와 관련된 상황, 되돌릴 수 없는 상황에도 동일하게 기계적인 안전 장치를 마련해야 합니다. 글의 지시서만으로 안전을 지키려고 하면, 어디에서든 허점이 생깁니다. 사람의 주의력으로 빈틈을 메우기 전에, 기계로 막을 수 있는지 먼저 고려해야 합니다. 이것이 지금 제 습관이 되었습니다. AI 직원 수가 73명까지 늘어난 지금, 이 안전 장치가 없었다면 정말로 맘대로 맡길 수 없었을 것입니다.

AI 활용에 국한되지 않고, 외주처나 직원에게 맡기는 일에도 동일하게 적용할 수 있는 사고방식입니다. “이것은 해서는 안 됩니다”와 같은 주의 사항은 무시될 것이라는 전제하에 설계하는 것이 안전하며, 승인이 필요한 작업은 승인 전에 물리적으로 진행하지 못하도록 시스템을 구축합니다. 구두나 체크리스트의 주의 사항보다 시스템 자체에 억지력을 심어주는 것이, 결과적으로 상대방을 신뢰하여 맡길 수 있는 범위를 넓혀줍니다. 이는 사람에게도, AI에게도 완전히 동일한 견해를 제시할 수 있다고 생각합니다.

이 글에서 솔직하게 말씀드리고 싶은 것은, 이러한 기계의 안전 장치를 모든 작업에 촘촘하게 적용하는 것이 아니라는 점입니다. 되돌아갈 수 없는 작업에 대해서만 이러한 제약을 강화합니다. 반대로, 되돌아갈 수 있는 작업에까지 동일한 수준의 제약을 적용하면, 오히려 움직이지 못하게 됩니다. 제약을 얼마나 강화하고, 어디서부터 자유롭게 맡길 것인가의 선은, 현재 실제로 사고가 발생한 장소에서 조금씩 늘려가면서 계속 진행하고 있습니다. 완성된 시스템이라기보다는, 실패가 발견될 때마다 보완해 나가는, 살아있는 시스템이라고 생각합니다.

본 약관과 다른 실제 사례는 무료 보고서에 모아 놓았습니다. 궁금하신 분은 다음 링크에서 읽어보실 수 있습니다.

실제로 위임할 때의 내용을 모아 정리한 유료 기사입니다. 저희 회사에서 사용하는 규정 50조의 전체 내용에 각 조마다 “왜 필요한가”와 “내일 운영의 팁”을 덧붙인 것으로, 1,980엔입니다.

처음 30일 동안 맡길 업무 절차를 그대로 복사할 수 있는 지침서와 매일 검수표를 포함한 6페이지 분량의 양식(980엔)도 있습니다.

먼저 1장만 테스트해 보시길 원하는 분들께는, 저희가 직접 작성한 예시 3개를 포함한 업무 지시서 양식 12장을 제공합니다 (500엔).

매월 우리에서 발생한 실패와 이를 수정한 합의를 월보로 추적하고 싶으신 분들을 위한 월정액 멤버십 “실록 멤버”(월 2,980원)도 있습니다.

저도 매일 맡은 업무의 실제 이야기를 짧게 쓰고 있습니다.

**출처:** [note 원문](https://note.com/makasekata_lab/n/n2f0246e41af1)

*번역: Gemma 3(.44) 초벌 + 교정 13청크*

[원문 보기](https://note.com/makasekata_lab/n/n2f0246e41af1) | 출처: note.com