# AI 직원 오오카미를 만들었습니다. 자랑스럽지만 보안은 괜찮습니까?

> https://bookfactory.kr/board/ai-tech/20615
> 게시판: AI·머신러닝
> 작성자: admin
> 작성일: 2026-10-10T05:56:55.663Z

---

최근에는 “AI 직원 10명을 만들었다” “AI 직원 50명이 근무하고 있다”는 이야기가 자주 보이기 시작했다.

정말 흥미롭네요. 이메일 읽기 AI, 자료 정리 AI, 영업 문구 제작 AI, 문의 응대 AI라니. 사람이 하던 일을 AI에 맡기면, 확실히 미래 지향적인 회사처럼 보일 겁니다.

하지만, 저는 조금 다른 점이 신경 쓰입니다.

그 AI 직원, 정말 50명 중에 괜찮은 사람이 50명이나 있을까.

## AI 직원 수는 연결 지점의 수와 같습니다.

AI 직원들은 혼자서 일을 하지 않는다.

Gmail을 확인한다. Google Drive를 살펴본다. Slack을 확인한다. 고객 데이터를 획득한다. 웹을 검색한다. 필요에 따라 외부 API를 호출하여 이메일을 보내고 파일을 수정한다.

즉, AI 직원 수를 늘리는 것은 내부와 외부를 연결하는 연결점을 늘리는 것과 같습니다.

AI 직원 50명이라는 표현만으로는 50명 분의 노동력이 추가된 것처럼 들릴 수 있습니다.

그러나 보안상의 관점에서 볼 때, 50개의 새로운 통구멍을 만들고 있을 가능성도 있다.

물론, 권한을 명확히 분리하고 접근 범위를 제한하며, 로그를 남기고 사람이 감독하고 있다면 문제는 적을 것이다.

무섭게 느껴지는 건 “움직였다는 사실 때문에 완성되었다고” 생각하는 것이다.

## 개발자가 아니면 만들 수 없는 문제가 문제의 핵심이 아니다.

여기는 오해가 없기를 바랍니다.

비기술진이 AI를 사용하여 앱을 만드는 것 자체는 저는 오히려 흥미롭다고 생각합니다. 지금까지 만들지 못했던 사람이 자신의 업무에 필요한 것을 스스로 만들 수 있게 된 것은 큰 변화입니다.

문제는 그 이후부터다.

E2E 테스트를 진행 중이신가요? 인증 방식은 어떻게 설정되어 있나요? 일반 사용자 및 관리자의 권한이 분리되어 있나요? API를 직접 호출받을 경우 어떻게 되나요? 다른 사용자의 데이터가 보이지 않는지 확인되었습니까? 기밀 정보가 클라이언트 측에 유출되지 않았는지 확인되었습니까? 퇴사자의 권한은 삭제되나요?

이러한 확인을 하지 않고, 내부 앱으로 사용을 시작한다면 상황은 달라진다.

AI는 코드를 작성해 주었고, 화면도 깔끔하게 만들어졌습니다. 잘 작동했습니다.

지금까지는 현재 AI라면 상당히 쉽게 할 수 있습니다.

하지만 “움직이는” 것과 “안전하게 운영할 수 있는” 것은 전혀 다른 것이다.

당신이 만든 앱이 개인 정보 유출의 발판이 되어 있지 않습니까?

## AI 직원들은 “겉으로 치하하는 듯한” 실수를 저지르곤 합니다.

더욱이 AI 자동화에는 평범한 자동화와는 다른 끔찍함이 있다.

이전에 Google GEAR에서 AI가 보낸 자동 이메일을 받은 적이 있는데, 저는 잠시 생각하게 만들었습니다.

어떤 트리거가 작동하면, 사람이 확인하지 않아도, 그와 관련된 내용의 이메일이 도착한다.

이 부분이 무섭다.

예전의 자동화 방식에서는 오작동 시 “이상한 표준 문구가 나타났고”, “같은 이메일이 여러 통 발송되었다”는 사실을 쉽게 인지할 수 있었다.

현재의 AI는 잘못하더라도 문장을 깔끔하게 다듬는다.

대상자를 잘못 지칭하고 있습니다. 오래된 정보를 참조하고 있으며, 전송할 필요가 없는 시점에 전송하고 있습니다.

그래, 글만 보면 자연스럽네.

즉, AI 자동화의 공포는 ‘오작동하는 것’이 아니다.

틀렸음에도 정상처럼 보이는 것이다.

## 완전 자동화보다 “어디에 사람의 작업을 남겨두어야 하는가”에 대한 고민이 더 중요합니다.

AI 직원 증원을 늘리는 것보다 저는 사람이 어떤 작업을 놓쳐버린 곳인지가 더 중요하다고 생각합니다.

예를 들어, 자료를 읽는 단계까지는 AI가 관여합니다.

요약하자면 AI입니다.

AI는 이메일 초안 작성도 돕습니다.

그러나 외부 전송 직전에는 사람이 확인한다.

이와 같이 처리 과정 중에 인간을 포함하는 HITL(Human-in-the-Loop) 방식이 기업 이용 측면에서는 현실적이다.

특히, 외부 전송, 삭제, 결제, 계약, 개인 정보, 권한 변경과 같은 처리는 일단 실행되면 원상복구가 어렵습니다.

AI에 완벽하게 모든 것을 완전히 맡기는 경우, 그에 상응하는 감사, 권한 관리, 로그, 이상 징후 탐지가 필요합니다.

사람을 대체하기 위한 DX가 아니다.

더욱이, 인간의 작업을 어디에 남길지 설계할 수 있는 방식이 훨씬 성숙한 AI 활용이라고 생각합니다.

## AI 직원 5명 정도가 더 강할 수도 있습니다.

AI 직원 수를 겨루는 것은 불필요하다.

50명으로 구성되어 각자 넓은 권한을 가지고, 감독할 사람이 없는 회사보다 5명의 AI 직원에게 역할을 제한하고 최소한의 권한으로 움직이며, 사람이 적절하게 개입하고 있는 회사가 더 강한 가능성을 충분히 가질 수 있습니다.

사람 회사는 물론이다.

모든 직원에게 회계, 인사, 고객 정보, 계약, 은행 계좌에 대한 권한을 부여하는 회사는 없다.

AI가 된 순간만을 제외하고 “모든 것을 연결해서 편리하게 쓰면 좋겠다”라고 생각하는 것은 적절하지 않다.

AI 직원이라는 표현이 직관적입니다.

하지만 진정으로 직원으로서 대우받기를 원한다면, 권한, 책임, 감독, 감사를 직원들과 마찬가지로 균형 있게 고려하는 것이 좋겠습니다.

## 자만하지 말고, 사람 수보다는 설계를 자랑하는 것이 더 좋습니다.

AI 직원 50명을 제작했습니다.

그 자체로도 훌륭할 수 있습니다.

단지 앞으로 기업이 요구하는 것은 인원수가 아닌 것이다.

누가 그 AI를 감독하고 있는가. 어디까지 접근 가능한가. 무엇을 하면 안 되는가. 무슨 일이 일어났을 때 멈출 수 있는가. 누가 운영 기록을 확인하는가.

이것이 더 중요합니다.

AI 직원 50명을 만든 것을 자랑하는 것보다

AI 직원에게는 최소 권한만 부여하며, 외부 전송 시에는 사람의 확인을 받고 있으며, 모든 작동은 로그를 통해 추적할 수 있습니다.

저를 자랑스러워하는 회사보다 저는 더 신뢰할 수 있습니다.

AI 시대에는 단순히 수를 늘리는 것만이 필요하지 않다.

AI를 어디까지 맡겨도 되는 존재로 설계할 것인가.

그렇게 생각하지 않고 AI 직원만 계속 늘려간다면 언젠가 “50명의 전력”이 아니라 “50개의 스루홀”로 끝나는 것을 깨닫게 될지도 모른다.

#AI사원 #AI에이전트 #정보보안 #HITL #업무자동화

**출처:** [note 원문](https://note.com/chic_wren6567/n/na3d4c2345160)

*번역: Gemma 3(.44) 초벌 + 교정 44청크*

[원문 보기](https://note.com/chic_wren6567/n/na3d4c2345160) | 출처: note.com