AI 직원(직원을) 만든 후, 누가 관리(감독)하고 있습니까?
만드는 이야기는 끊임없이 나옵니다. 지시서 작성 방법, 도구 연결 방법, 최초의 1체 제작 방법.
하지만, 완성 후에는 거의 다루어지지 않았다.
저희는 매일 30개의 AI 직원들을 운영하고 있습니다. 이 글에서는 그 30개에 대한 유지보수를 어떻게 하고 있는지, 그리고 처음 2개월 동안 무엇이 고장 났는지, 날짜별로 기록합니다.
저희는 “AI 직원 청소 AI 직원” 한 명을 추가했습니다. 그런데도 한 번 멈추었습니다. 이 과정에 대해 모두 상세히 설명드리겠습니다.
AI 직원 관리가 필요한 이유. 지시서는 매일 두꺼워진다.
AI 사원의 정체는 지시서와 지식 파일 모음입니다.
인간 직원이라면 일을 익히면서 머릿속이 정리되는 반면, AI 직원은 일을 할 때마다 기록, 예외, 그리고 “지난번에 이렇게 했다”는 내용이 지시에 추가되어 기록이 늘어나는 방식이다.
1체라면 크게 신경 쓰이지 않았을 텐데. 30체라고 하면 상황이 달라져.
저희가 실제로 겪었던 일은 다음과 같았습니다. 같은 규칙이 2군데에 쓰여 있었고, 그 중 한 군데만 수정하는 것이었습니다. 오래된 절차와 새로운 절차가 같은 파일 안에 함께 있는 경우도 있었습니다. 결과물의 보관 장소가 정해져 있는데, 다른 장소에 보관된 결과물이 쌓여 있는 상황이었습니다.
모든 일은 그날의 업무대로 처리됩니다. 그래서 알아채지 못할 뿐입니다.
AI 직원들이 오래된 규칙을 읽고 수정한 실수를 다시 수행했을 때 이를 깨달았습니다.
우리가 결정한 일입니다. 주 1회, AI가 AI를 청소합니다.
2026년 7월 말쯤에 2개의 정기 작업 계획을 수립했습니다.
첫 번째는 매주 1회, 30가지 지식을 모두 확인하고, 어수선한 순서대로 정렬한 후, 상위 몇 가지를 정리하는 AI 직원입니다. 두 번째는 마찬가지로 매주 1회, 일기 기록에서 ‘항상 손으로 하는 것’을 추출하여 효율화 방안 3가지를 제시하는 AI 직원입니다.
방법은 다음과 같습니다.
청소를 담당하는 측에도 전담 인공지능 인력을 배치하는 것을 고려하고 있습니다.
최근, 여러 곳에서 화제가 되고 있는 ‘인공지능 소설가’에 대해 제가 조금 알아보았습니다.
인공지능 소설가란 인공지능이 생성하는 문장을 바탕으로 소설을 집필하는 방식입니다.
구체적으로 소설의 줄거리나 등장인물 설정, 문체 등을 인공지능에게 지시하고, 인공지능이 그에 따라 문장을 생성해 나가는 과정입니다.
최근에는 소설 줄거리 작성이나 문구 아이디어 발상 등 소설 집필 초반 단계의 작업을 인공지능에게 맡기는 경우도 늘고 있습니다.
물론 인공지능이 생성하는 문장은 아직 완벽하지는 않습니다.
문장의 구성이나 표현에 어색한 점이 있거나, 논리적인 모순이 있을 수 있습니다.
하지만 인공지능 기술은 꾸준히 발전하고 있으며, 앞으로 인공지능이 더욱 자연스럽고 인간다운 문장을 생성할 수 있을 가능성은 충분합니다.
또한 인공지능 소설가는 작가의 창의성을 자극하는 도구로도 활용되고 있습니다.
인공지능이 생성하는 문장을 참고하여 작가가 새로운 아이디어를 떠올리거나, 문체 표현 방식을 개선함으로써 더욱 매력적인 소설이 나올 수 있습니다.
최근 저의 저서 ‘인공지능과 공존하는 미래’에서 인공지능 소설가에 대해 언급한 적이 있는데, 독자분들로부터 “인공지능이 소설을 쓰는 것은 정말 대단하네요!”라는 댓글을 받았습니다.
인공지능 소설가는 아직 발전 단계의 기술이지만, 앞으로의 발전이 기대됩니다.
참고로, 인공지능 소설가로 주목받고 있는 것은 소설가이자 평론가인 오가와 다케시 氏가 개발한 “소설AI”입니다.
“소설AI”는 다양한 장르의 소설을 생성할 수 있으며, 생성된 소설에 대한 독자 피드백을 통해 인공지능의 정확도를 향상시킬 수 있습니다.
인공지능 소설가는 앞으로 소설 집필 방식을 크게 변화시킬 가능성을 가지고 있습니다.
저기요, 기존 AI 직원에게 “자신의 지식을 정리해 줘”라고 요청하는 것이 맞습니다.
저도 처음에는 그렇게 생각했습니다. 사실, 1대로 씩 개선하는 담당은 항상 있었습니다. 하지만, 불러주어 1체를 진료하는 것과, 아무도 불러주지 않아도 30체를 전부 보고 스스로 흩어진 것을 발견하는 것은 다른 일이었습니다. 전자는 사람이 “이 애를 고쳐줘”라고 하지 않으면 움직이지 않았고, 후자는 사람이 알아채지 못한 흩어진 것을 줍는 것이 일이었습니다.
이를 분리하게 만든 건 저희 유지보수의 핵심이었습니다.
청소 AI는 무엇을 보고 있는지 묻는 걸까.
청소”라고 해도, 무엇을 보는지 명확하지 않으면 단순히 감상에 그칩니다. 제 집 청소 AI가 주 1회 살펴보는 것은 대략 이 4가지입니다.
첫째, 동일한 내용의 파일이 어디에 분산되어 있는지 확인하는 것입니다. 규칙이 두 곳에 명시되어 있어 한쪽만 수정되고 다른 한쪽은 오래된 상태로 남아 있습니다. 첫 번째 정리 작업에서는 하나의 AI 직원 중에서 동일한 내용이 50개 지점에 분산되어 있었습니다.
두 번째로, 결과물 폴더에서 벗어난 파일들입니다. 보관 장소가 정해져 있는데, 작업 도중 다른 장소에 임시로 놓여 그대로 남아있는 것들입니다. 처음에는 이것이 2.9GB나 되었습니다. 삭제하지 않고 임시 보관 폴더로 옮기고, 원래 장소로 돌리는 방법을 적은 메모를 덧붙입니다. 이는 저희 회사 전체 규정이며, AI 직원 청소에도 동일하게 적용됩니다.
세 번째로, 업데이트 중단 기록을 생성합니다. 진행 중인 앤셋 카드가 1개월 이상 관해 없었다면, 완료되었거나 잊혀졌는지 확인하기 위해 담당자에게 문의합니다.
네 번째는, 현재 진행 중인 업무와 충돌하고 있지 않은지 확인하는 것입니다. 청소 중 AI 직원이 업무를 수행한다면, 이번 주에는 해당 업무를 미루겠습니다. 이는 추후 오탐(誤検知)을 유발할 수 있지만, 이에 대한 자세한 설명은 추후에 드리겠습니다.
그러다 효율화 담당의 AI 직원은 매주 한 번, 다른 것을 살펴봅니다. 일일 기록 중에서 “사람이 손으로 붙여넣은”, “같은 절차를 3번 반복한”, “승인을 기다리다 멈춰선” 등의 사례가 몇 건인지 세어봅니다. 첫 번째 시도에서는 후보 19건 중에서 3건으로 좁혀서, 이런 식으로 시스템을 만들어보면 어떨지 제안했습니다.
청소와 효율화를 별도의 AI 직원에게 맡けた 것은 관심사가 다르기 때문입니다. 청소는 “현재 있는 것을 정리하는 것”, 효율화는 “없는 것을 찾는 것”입니다. 한 명에게 양쪽 모두를 맡기면 어느 한쪽이 약해집니다.
두 번째 주차에 아무도 반응이 없었다.
그것부터 실패에 대한 이야기입니다.
처음 시도는 7월 31일 금요일에 두 개 모두 실행했습니다. 제안도 있었습니다. 정리 결과, 1개에서 2.9GB의 불필요한 파일을 삭제하고, 같은 내용이 50군데로 분기된 기록을 1개의 파일로 통합했습니다. 여기까지 좋았습니다.
2주째 금요일. 아무 일도 없었습니다.
3주 차 금요일, 8월 14일. 드디어 깨달았습니다. 대표님이 “이 두 작품이 어디에서 지시를 받고 움직이는 건데?”라고 묻신 덕분에 그렇게요.
검색해 보니, 답은 “아무것도 누르지 않았습니다”였습니다.
정기 작업의 대장에는 “매주 금요일 15시”라고 기재되어 있었다. 입구의 카드와 절차서도 있었다. 결과물 선반도 있었다. 배선은 4층으로 깔끔하게 정렬되어 있었다. 하지만, 금요일 15시에 버튼을 누르는 기능이 어디에도 없었다.
OS 측에서는 정기 실행에도 접속하지 않았습니다. 아침의 자동 처리 지시서를 전면 검색했으나, 이 두 명의 이름은 한 글자도 나타나지 않았습니다. 눌 수 있는 것은 사람이 “돌려”라고 말하거나, 아침 건강 검진이 “기한 초과”와 붉게 표시하는 것 두 가지뿐입니다. 그리고 붉게 표시되는 것은 알림이며, 실행과는 무관합니다.
건강검진도 잊고 지냈던 것을 잊고 있었다.
또 다른 구조의 구멍이 있었습니다.
오전 건강 진단에서는 정기 작업마다 “최근 기한”과 “최신 완료 증거”를 비교합니다. 기한을 넘겨 증거가 없다면 빨간색으로 표시됩니다.
그런데 8월 14일 15시를 넘으면서 전 주에 빨간색으로 표시되었던 것이 사라지고 “이번 주 기일 내·증거 대기”라는 노란색으로 바뀌었습니다. 증거 날짜는 2주 전 그대로인데.
몇 주나 결근해도 눈에 보이는 것은 ‘1주 미끄러진’ 것 이상이 되지 않습니다.
이런 일은 인간의 직장에서도 똑같이 일어나는 거죠. “다음 주에 할 거예요”라고 매주 반복한다고 해서, 언제까지나 “다음 주에 할 예정인 사람”으로 남게 되는 겁니다.
7월 30일에 제작한 건강 검진은 “지시 사항이 있는데 감독이 배치되지 않았다”는 문제를 해결하기 위한 것이었습니다. 8월 14일에 발견된 것은 그 제2 형태였습니다. 감독은 있지만, 잊은 것을 잊어버립니다.
수정 방법은 간단했습니다. 건강검진에서 “지난 완주 이후 몇 번의 기일을 건너뛰었는지”를 세어보게 했습니다. 그러면 이 두 항목이 “2번 연속 미완주”로 정확하게 붉게 표시되었을 뿐만 아니라, 5月末부터 11번 연속 멈춰 있던 주간 작업도 처음으로 확인되었습니다. 그 이전까지는 같은 “기한 초과” 한 줄로, 11주 동안의 미행은 누구에게도 눈에 띄지 않았습니다.
청소 평가를 “주관적인 의견”에서 “실제 측정”으로 변경했습니다.
또 한 가지 바로잡은 것은 청소 용품입니다.
첫 번째 청소 AI는 30개의 지식을 읽고 “정돈 정도”를 스스로 평가했습니다. 즉, 주관적인 평가였습니다. 작동할 때마다 점수가 바뀌고, 사람이 이를 검증할 수 없었습니다.
따라서 채점은 스크립트에 기록했습니다. 파일 중복, 동일한 이름의 파일 분할, 업데이트 중단 기록, 진행 중인 업무와의 충돌 등을 고려하여 채점할 항목만 세어 점수를 매깁니다.
여기 또 한 가지를 배웠습니다.
스크립트에 자체 테스트를 20건 모두 통과시켰습니다. 실제 30체로 진행했을 때 2건의 오탐이 발생했습니다.
첫 번째 판정은 “현재 진행 중인 업무와 충돌하고 있는 AI 직원에게는 이번 주에는 청소를 하지 마라”는 내용입니다. 충돌 판정 기준을 “AI 직원의 이름이 업무 기록에 등장하는가”로 하였더라면, 우리에게는 항상 100건 이상의 진행 중인 업무가 있기 때문에 30명 중 46명분의 후보가 모두 제외되었고, 청소해야 할 상위 3명이 사라졌습니다. 명시적으로 지칭될 때만 충돌이 발생하도록 수정했습니다.
두 번째는 기록 형식이 우리만의 함정이었던 것입니다. 이직 카드 한 줄에 사용된 모든 AI 직원 이름과 “신설”, “이설” 용어가 나열되었습니다. 따라서 “같은 줄에 이름과 작업어가 있으면 ‘가까운’ 것이 된다”는 생각이 모든 사람에게 확립되어 버렸습니다. 비교하는 줄을 현재 하고 있는 일과 다음 한 수의 줄로만 제한했습니다.
자기 테스트 통과했더라도 실제 데이터에서는 제대로 작동하지 않는다. 이 두 건 모두 “발화하는 예”와 “발화하지 않는 예”를 테스트에 포함했다.
저, 그렇게까지 해야 할까요?
솔직히 말씀드리면, 이렇게까지 읽고서 “30구체가 있어야죠”라고 생각하는 분들이 많으실 겁니다.
3개면 충분할 것 같습니다. 사람이 일주일에 한 번, 3개의 지침서를 열어 읽는 것으로 충분합니다.
하지만 5개체를 넘어서면서부터 사람의 모든 읽는 시간이 사라집니다. 읽지 않고 계속 움직이면, AI 직원들은 오래된 규칙과 새로운 규칙을 모두 가지고 업무를 수행합니다. 그리고 어떤 규칙을 사용할지는 그 날의 운입니다.
저희 9월 3일 건강검진 결과는 다음과 같았습니다. 정기 업무 41건 중 정상 25건, 기한 초과 12건, 휴면 2건이었습니다. 청소 및 효율화 관련 업무 2건 또한 각각 2기 지연되었습니다.
솔직히, 이걸 보니까 좀 실망스러웠어요.
8월 14일에 지켜보기를 수리하고, 두 개 모두 ‘연속으로 날고 있다’라고 붉게 표시되도록 했다. 3주 후, 다시 2기(班)가 날아갔다. 지켜보는 장치는 정확하게 작동했고, 붉게 표시되었다. 그러나 붉은색을 보고 누르는 사람이 그 주는 다른 화식시(소방관)를 하고 있었다.
여기서 알게 된 것은 순찰 교대와 회전 작업이 별도의 업무라는 것입니다. 순찰은 “떠다니는 것”을 감시하고, 회전은 사람 또는 OS의 정기 실행 중 하나가 실행을 누르는 것입니다. 저희는 이 지점에서 실행 누르는 쪽을 사람으로 그대로 두었습니다.
결국, 시스템을 만들거나, 감시를 강화해도 여전히 날아간다.
그러므로 유지보수의 본질은 ‘깨끗하게 하는 것’이 아니라, 멈춰있는 상태가 붉게 보이는 상태를 유지하는 것이라고, 지금은 생각합니다. 깨끗하게 하는 작업은 붉게 보이면 언제든 따라잡을 수 있습니다. 보이지 않으면 따라잡을 수 없습니다.
자주 묻는 질문입니다. 주 1회로 충분한가, 그리고 사람은 무엇을 하는가
지금까지의 대화에서, 잘 돌아오는 질문이 2가지 있습니다.
첫 번째. 일주일에 한 번으로 충분한가.
저희의 답변은 “충분합니다. 다만 매일의 시스템이 별도로 존재합니다.”입니다. 매일의 작업에서 발생하는 작은 사고는 그 날의 즉시 기록에 남깁니다. 이를 주 1회 모아서 읽고 정리하는 것이 청소 AI 직원입니다. 일일 기록이 없다면, 주 1회 청소는 무엇을 바로잡아야 할지 알 수 없습니다. 빈도보다는 일일 기록과 주간 청소가 연결되어 있는 경우가 더 효과적입니다.
두 번째로, 그러면 사람은 무엇을 하는가.
모든 것을 당신의 뜻대로 하도록 하는 것처럼 보이지만, 사람의 일은 여전히 남아 있습니다. 청소 AI 직원으로부터 “이 두 대가 어질러져 있습니다. 이렇게 바로잡겠습니다”라는 제안을 읽고 실행 여부를 결정하는 것은 사람입니다. 첫 번째 경우에도 대표가 “우선 한 대만 품질을 우선하여 수리하고”라고 선택하여 나머지는 중단했습니다.
AI에게 맡기는 것은 찾고 수정하는 것이다. 인간이 가진 것은 어느 정도까지 수정할 것인지에 대한 판단이다. 이것을 반대로 하면, 사람이 30명의 몸 안에서 내용을 찾아가는 것이 되고, 또 시간이 소모된다.
그래, 또 하나 추가하자면.
유지 보수가 멈춰버렸을 때, 가장 먼저 노후화되는 것은 유지 보수 자체의 메커니즘입니다. 우리 쪽에서 2기를 뛰어넘은 것은 업무를 수행하는 AI 직원 대신 청소와 순찰을 담당하는 2개였습니다. 업무를 수행하는 AI 직원은 매일 호출을 받기 때문에 멈추지 않습니다. 누구에게도 호출받지 않는 메커니즘이 가장 먼저 조용히 멈춥니다.
요약: AI 직원 관리는 제작일에 따라 3가지로 결정된다.
저희가 2개월 동안 진행했던 일을 3개로 줄였습니다.
첫째, 청소 담당과 업무 담당을 분리한다. 부르면서 바로 수정하는 담당과, 부르지 않고 전체를 보는 담당은 다른 업무이다.
두 번째로, “누가 버튼을 누르는지”를 제작일에 결정한다. 회계장부와 절차서가 갖춰져 있어도 버튼을 누르는 실체가 없으면 2주 후에 멈춘다. 우리도 멈췄다.
세 번째로, 멈춘 횟수를 세는 감시를 배치한다. 최근 기일만 보는 감시는 아무리 날개를 펴고 날아도 1주 늦게만 보이는 것이다.
오늘 현재 운영 중인 AI 직원에게 내려진 지시서를 하나만 열어 마지막으로 누군가가 읽어본 날짜를 확인해 주세요. 날짜가 없다면 그것은 유지보수 시작 시점입니다.
AI 직원 구축 12가지 혜택
AI 직원 구축 혜택으로, 다음과 같은 12가지 항목을 준비했습니다.
1. AI 직원 설계·구축 템플릿
2. AI 직원 학습 데이터 수집·분석 도구
3. AI 직원 성과 평가 시스템
4. AI 직원 윤리적 위험 관리 도구
5. AI 직원 보안 대책 가이드라인
6. AI 직원 운영·유지 보수 매뉴얼
7. AI 직원 팀 연계 지원 도구
8. AI 직원 커뮤니케이션 지원 도구
9. AI 직원 창의성 육성 프로그램
10. AI 직원 의사 결정 지원 시스템
11. AI 직원 다양성·포용성 추진 가이드라인
12. AI 직원 사회 적용 지원 컨설팅
AI 직원 지침서 템플릿, 혼란을 측정하는 체크 항목, 주 1회 점검을 정기 점검 절차로 만드는 방법을 정리했습니다. AI 직원 2대, 3대 등 추가를 검토하는 경영자들을 위한 것입니다.
12가지 특별 혜택을 받으세요
출처: note 원문
번역: Gemma 3(.44) 초벌 + 교정 62청크
원문 보기 | 출처: note.com