# AI 직원 30명의 운영 기록: AI 직원의 자동 전송으로 인해 샌드박스 변수가 외부로 유출된 날

> https://bookfactory.kr/c/ai-tech/12351
> 게시판: AI·머신러닝
> 작성자: admin
> 작성일: 2026-09-14T23:21:40.852Z

---

![見出し画像](https://assets.st-note.com/production/uploads/images/309438748/rectangle_large_type_2_d1ce78438f22d3d158fd70c65701d4c3.png?width=1280)

AI 직원에게 이메일 작성을 지시하는 분들께 여쭤보고 싶은 건데요, 그 발송은 최종적으로 누가 확인하는 걸까요?

저희는 그것을 보지 않았었습니다. 정확히 말하자면 “보지 않아도 되는 부분까지 왔다고 생각했습니다.”

최근 회의록 자동 전송 시 안내용 기호를 대체하지 않고 외부 상대에게 전송되어 있었습니다. 제목에는 그대로 기호가 남아 있었습니다.

이 글에서 답하는 질문은 하나입니다. AI 직원에게 외부 전송을 맡길 때, 어떤 관문을 설정해야 하는가.

저희가 실제로 무엇을 제거하고, 그 후에 무엇을 더했는지에 대해 설명하겠습니다. 이메일뿐만 아니라, AI가 외부로 유출되는 모든 경로에 영향을 미치는 문제라는 생각을 합니다.

## AI 직원 자동 전송은 멈추는 지점을 지정하지 않으면 전부 통과합니다.

먼저 구조에 대해 말씀드리겠습니다.

AI에게 “회의록을 만들고 상대방에게 보내줘”라고 요청하면, 회의 내용 기록, 요약, 문서 삽입, 수신자 결정, 발송 등의 과정이 중복됩니다.

저희 경우에는 이 일련의 과정이 모두 연결되어 있었습니다. 사람이 만지는 부분은 하나도 없었습니다. 연결되어 있다는 자체는, 의도적으로 그렇게 하고 있습니다. 중간에 사람이 들어갈 경우에는 자동화의 의미가 희미해지기 때문입니다.

그때, 무엇을 결정하지 못했던 걸까.

어느 단계에서 멈추는지를 결정하지 못했습니다.

멈추는 지점을 정하지 않은 길은 옳고 그름을 알 수 없으나 똑같은 속도로 지나갑니다. 움직이는 동안에는 알아차릴 수 없는んですよね.

![画像](https://assets.st-note.com/img/1788312885-9nLVozPQsrMeut4SapdRWwZ1.png?width=1200)

## 삽입 변수가 그대로 제목에 나타났습니다.

발생한 일들을 구체적으로 기록하겠습니다.

2026년 8월 31일, 한 회의의 안건이 자동으로 이메일로 발송되었습니다. 제목은 “【안건】(삽입용 기호)님 × 저희 회사 대표: 회의 (30분)”라는 형태였습니다.

(삽입용 기호) 부분은 기호 그대로 전달되었습니다.

상대방의 이름을 적는 자리입니다. 이 정도면 “외모가 좋지 않다”고 마무리해도 될 것 같습니다.

더욱 좋지 않았던 건 내용 자체였습니다. 요약본에 전혀 다른 회의 내용이 들어있었던 거죠. 상대방 입장에서는 마치 모르는 사람의 이야기가 갑자기 전달된 것처럼 되었습니다.

전송 1분 후, 상대방에게서 다른 일로 연락이 왔다. 그러는 과정에서 처음으로 깨달았습니다.

즉, 기계 측에서는 끝까지 아무런 보고도 하지 않았습니다. 예외도 발생하지 않았고, 실패 기록도 남아 있지 않습니다. 전송은 “성공”으로 기록되어 있습니다.

가장 답답하게 생각하는 건 바로 이 “조용히 틀리는 것” 때문입니다.

## 그 이유는 제가 이메일을 만드는 곳이 아니었기 때문입니다.

처음에는 저는 이메일 작성 부분을 의심했습니다. 삽입이 제대로 되지 않는다면, 삽입 처리가 잘못되었어야 한다는 논리였습니다.

사과드립니다.

거슬러 올라가서 확인해 보니, 그 이전 단계에서 만들어진 회의 기록이 제목 시점부터 이미 변경되지 않았던 것입니다. 이메일은 그것을 제대로 사용한 것일 뿐입니다. 문제가 발생한 것은 이전 단계였습니다.

여기, 꽤 중요하다고 생각했습니다.

AI의 자동화로 인해 이상한 결과가 출력될 때, 우리는 자연스럽게 마지막 단계를 의심합니다. 눈에 보이는 것이 그곳이기 때문입니다. 하지만 실제로는 눈에 보이지 않는 상류에서부터 문제가 시작되어, 그 오류가 하류에 충실하게 전달되고 있는 것일 뿐입니다.

또한 같은 날 다른 4건은 정상적으로 전송되었으며, 매번 고장 나는 것이 아니라 가끔 고장 납니다.

이것이 동작 확인에서 걸리지 않는 이유는 시도할 때 대부분 통과되기 때문입니다.

## 아니요, 보내기 전에 AI가 다시 읽어보면 되잖아요.

저 역시 그렇게 생각했습니다. 발송 전에 AI 스스로 문서를 확인시키면 되니까요.

이렇게 해 보려고 했는데, 효과가 없네요.

이는 단순한 이유로, AI에게는 ‘문자’라는 형태로 자연스럽게 읽히기 때문입니다. 인간이 한눈에 이질적으로 보던 것이, 기계의 눈에는 ‘그런 종류의 내용’으로 보이는 것이 이해가 안 되나요.

그러면 “삽입 누락이 없는지 확인해”라고 지시하면 되는 건가. 그것도 시도했어. 첫 번째 시도에서는 효과가 나. 두 번째 시도에서도 효과가 나. 열 번째 시도에서는 다른 지시와 경쟁하면서 조용히 종료되었어.

여기에서 우리가 도달한 결론이 있습니다. 방법은 이것입니다. 그것은

판단하게 하지 말고, 틀 안에서 멈추게 하세요.

최근 인공지능의 발전이 놀라우신가요? 특히 ChatGPT와 같은 거대 언어 모델은 마치 인간처럼 자연스러운 문장을 생성할 수 있어서 놀라운 것은 당연하다고 생각합니다.

저는 ChatGPT를 사용하기 시작한 후 업무 효율이 크게 향상된 것을 느끼고 있습니다. 예를 들어, 문장 아이디어 구상, 구성안 작성, 교정 등 이전에 수시간을 걸리던 작업이 ChatGPT 덕분에 순식간에 끝나는 경우가 많습니다.

물론 ChatGPT는 만능이 아닙니다. 아직 창의성이나 감정 등 인간만이 가진 독특한 능력에는 미치지 못하는 부분도 있습니다. 하지만 ChatGPT는 인간의 창의성을 지원하는 도구로서 매우 효과적인 존재입니다.

저는 ChatGPT를 능숙하게 사용하고 싶습니다. 그리고 ChatGPT의 힘을 최대한 활용하여 제 업무, 그리고 인생을 더욱 풍요롭게 만들고 싶습니다.

여러분은 ChatGPT를 어떻게 활용하고 계신가요? 댓글로 공유해주세요.

이 기호가 남아있었다면 어떤 경우에도 보내지 않을 거야. 경쟁이 없어지지.

![画像](https://assets.st-note.com/img/1788312889-Eeu9NIgvajbmQtqAk3UiWPcY.png?width=1200)

## AI 사원의 자동 전송에 제가 넣은 3개의 관문

실제로 더한 값을 적겠습니다. 3개입니다.

첫째, 삽입 기호의 잔류로 중단합니다. 제목과 본문에 삽입용 기호의 형태가 하나라도 남아있으면 전송 직전에 기계가 중단합니다. 문맥의 좋고 나쁨은 보지 않고 형태만 봅니다. 판단이 들어가지 않는 부분까지 확실히 작용합니다.

두 번째로, 수신인과 내용의 일치 여부를 발신 조건으로 설정합니다. 이번에 가장 무서웠던 것은 바로 발신된 명의가 아닌 내용이 다른 회의였던 경우였습니다. 따라서 수신인의 상대방과 내용이 지칭하는 상대방이 일치하지 않으면 중단합니다. 여기는 형태만으로는 부족하기 때문에, 직전에 사람이 보는 1가지 항목으로 남겨두었습니다.

세 번째로, 성공했다고 말하기 전에, 송신함의 실제 모습을 확인한다. 이는 이전 사고로 인해 넣어두었던 것이다. AI가 “보냈습니다”라고 보고하더라도, 그것은 송신함を見た 결과가 아닌 추론일 수 있다. 우리 집에서는 한 번 이렇게 하여도 실제로는 2일 동안 보내지지도 않았던 적이 있었다. 이후로 송신의 증거는 송신함의 실제 존재 확인에만 하고 있다.

세 가지 모두 공통되는 점은 AI에게 “조심해”라고 요청하지 않았다는 것입니다.

![画像](https://assets.st-note.com/img/1788312892-EnSxVXLp8hbOMdGyU53Hto67.png?width=1200)

## 한 사람이 한 통씩 읽는 방식이 무너지는 곳부터 부서지기 시작한다.

가장 와닿았던 부분은 바로 여기였습니다.

예전에는 이메일을 사람이 한 통씩 작성하고, 전송 버튼을 누르기 전에 한 번 읽었습니다. 삽입 누락은 그 순간에 반드시 발견되었습니다. 아무도 시스템으로 보호하지 않았는데, 사고가 일어나지 않은 것은 마지막 1초 때문이었습니다.

자동화하면 그 1초가 사라집니다. 사라진 것을 알아차리지 못한 채, 다른 부분만 빨라집니다.

그래서 저는 지금 자동화를 추가할 때마다 한 가지 질문을 스스로에게 던집니다.

이 단계에서 지금까지 사람들이 무엇을 보았던가.

봐야 할 것이 있다면, 그것은 사양서에 명시되어 있지 않더라도 요구사항이다. 단순히 쓰기 필요가 없었던 것뿐이다.

솔직히 말씀드리면, 저희는 이것을 몇 번이나 짚고 넘어가서야 비로소 명확하게 설명할 수 있었습니다. 처음에는 “AI가 틀린 것”으로 끝내려 했습니다. 실제로는, 사람들이 무심하게 하던 검사를 제대로 이어받지 않고 버렸을 뿐이라는 이야기였습니다.

## AI 직원 자동 전송을 내일 1개만 즉시 해결한다면

오늘은 딱 하나만 해보세요.

현재 자동으로 이메일이나 메시지를 발송 중인 경로를 1가지 선택하여 발송 직전에 어떤 검사를 수행하는지 확인한다.

만약 답이 0이라면, 그것이 바로 오늘의 답입니다. 0의 경로는 옳거나 틀린 것을 모두 똑같은 속도로 밖으로 나아가게 합니다.

가장 먼저 시도해 볼 방법은 삽입 기호 잔류 확인입니다. 판단 과정이 필요 없으므로 오작동이 발생하지 않으며, 5분 내에 완료할 수 있습니다. 효과적입니다.

우리는 이 일을 사고가 일어나고 나서야 들어갈 수 있었습니다. 순서상으로는 늦었고요. 외부로 나가는 경로만은 움직이기 전에 멈추는 방법을 미리 정해 두어야 했습니다.

AI 직원들은 빠릅니다. 빠르다는 것은 실수가 똑같은 속도로 발생한다는 의미였습니다. 오늘 있었던 이야기가 바로 그것이었습니다.

AI 직원들을 실제로 움직이는 방식의 유형과, 저희가 발생시킨 사고 목록을 이 곳에 정리했습니다.

## 12가지 특별 혜택 획득 안내

지금 바로 12가지 특별 혜택 획득에 참여하세요!

**1. 12가지 특별 혜택 목록:**

1.  **[책 제목]** (책 제목)
2.  **[책 제목]** (책 제목)
3.  **[책 제목]** (책 제목)
4.  **[책 제목]** (책 제목)
5.  **[책 제목]** (책 제목)
6.  **[책 제목]** (책 제목)
7.  **[책 제목]** (책 제목)
8.  **[책 제목]** (책 제목)
9.  **[책 제목]** (책 제목)
10. **[책 제목]** (책 제목)
11. **[책 제목]** (책 제목)
12. **[책 제목]** (책 제목)

**2. 획득 방법:**

*   [특전 획득 방법 상세 설명]

**3. 기간:**

*   [기간 명시]

**4. 문의:**

*   [문의처 정보]

**5. 주의사항:**

*   [주의사항 명시]

AI 직원 기반 업무 자동화, 특히 이메일 운영 설계에서는 자동 전송 기능 및 AI 에이전트 활용을 통해 위험 관리, 회의록 작성, 경영 판단, 조직 설계, 팀 운영, 품질 관리 등 다양한 업무를 효율화할 수 있습니다. 생성 AI를 활용한 AI 직원은 인적 오류를 줄이고 중소기업의 생산성 향상에 기여합니다. 운영 설계에서는 시스템화와 지속적인 위험 관리가 중요합니다.

**출처:** [note 원문](https://note.com/ripe_peony6219/n/n9ad302822558)

*번역: Gemma 3(.44) 초벌 + 교정 38청크*

[원문 보기](https://note.com/ripe_peony6219/n/n9ad302822558) | 출처: note.com