AI 직원 5명을 모이게 되면 제 업무가 줄어들까요?
조사를 하는 사람, 코드를 쓰는 사람, 기사를 쓰는 사람, 검수를 하는 사람까지, 그 모든 것을 모아 정리하는 역할을 AI에 맡기면 작은 회사처럼 일이 진행될 수도 있습니다.
그렇게 기대해서 시작한 AI 타운을 활용한 실험이었다.
결과를 먼저 말씀드리자면, 5역에 업무를 전달하고 응답과 기록을 저장하는 부분까지는 작동했습니다. 하지만 전문 기사는 심사 대상에 미달했으며, 마지막으로 AI社長의 집약 작업도 중도에 멈췄습니다.
그러면서 남은 일은 인간이 출력을 읽고 오류를 찾아내며 중단 원인을 파악하는 업무였습니다. 회사를 자동화하려고 하자 갑자기 회장님의 일도 늘어났습니다.
노트PC 안에 5명의 직원을 두고 보았다.
이번에 진행한 것은 2026년 10월 12일에 실시한 현지 LLM 재검정이다. 이전에 다른 AI 환경에서 진행한 분업 실험과는 별도로 기록하고 있다.
사용한 것은 Windows 노트북, Ollama, Qwen3 1.7B 모델입니다. PC는 Core i5-8365U, 메모리 약 16GB입니다. 이번에는 CPU로 실행하여 추론은 동시에 1건씩 처리했습니다.
직원은 다음 5가지 역할로 분류되었다.
- CEO: 계획 및 성과 집약
- 연구: 자료를 검토하고 근거를 체계화한다.
- 개발자：코드 관련 작업
- 글쓴이: 기사의 작성 및 수정
- 감사관：내용 검토
5명이 동시에 생각할 수 있는 회사는 아닙니다. 같은 모델에 역할을 부여하고, 결정된 순서대로 업무를 할당하는 시스템입니다. AI社長이 상황을 보고 담당을 선택하는 자율적인 배분도, 이번에는 실현되지 않고 있습니다.
AI 타운의 마을을 걸으며 진행하던 표준 자유 대화는 중단하고, “업무 회의”를 통해 등록된 5명의 직원과 업무를 연결했다.
우선 작게 업무 인수인계를 확인하고 싶었다.
“움직였다”는 말은 맞다. 하지만 “맡길 수 있다”는 것은 달랐다.
연결 실험에서는 진전이 확인되었다.
5가지 역할 모두로부터 응답을 받아 각 직원에 연결된 업무 메모와 작업 이력을 로컬 데이터베이스에 저장할 수 있었다. 초안, 감사 결과, 수정 초안, 비교용 단독 AI 초안도 남아 있었다.
누가 무엇을 반환했는지 추적할 수 있는 결과이다. 이는 다음 개선에 활용할 수 있는 성과이다.
그러나 완성된 글을 확인해 보니 상황이 달라졌다.
주요 내용은 파이썬 백테스트에서 발생하는 데이터 유출 문제를 다루는 전문 기사였다.
생성본에는 과거 데이터를 미래 예측에 사용하지 않도록 안내하는 설명이 포함되어 있었다. 이는 방향이 잘못되었다. 문제의 핵심은 과거 정보를 사용하는 것 자체가 아니라, 예측 시점에 이용 불가능한 정보를 섞는 데 있다. 정의는 scikit-learn의 공식 자료와도 교차 검증했다.
또한, 감사역이 주요한 오류를 간과했다. 더불어, 보존된 수정본은 초고와 완벽하게 일치했다.
감사 절차를 거쳤고, 수정 공정을 반복했음에도 불구하고 내용이 제대로 수정되었는지 확신하기 어려웠다.
가장 어려웠던 점은 바로 이 부분이다. 직책을 5개를 만들어도, 같은 모델에 대한 이해 부족이 역할 분담만으로 해결되는 것은 아니다.
AI 회장의 마지막 업무는 15분 동안 멈추는 것이었습니다.
또 다른 실패는 실행 환경에 있었다.
실험에는 최대 8회에 걸친 추론, 총 20분, 1회 추론당 최대 180초라는 제한이 설정되어 있었으나, 백엔드를 실행하는 측에는 이전에 15분으로 중단 설정을 그대로 유지하고 있었다.
20분 분량의 일을 준비하고 회사의 전원을 15분 후에 자동으로 꺼지도록 설정해 둔 상태였다.
비교용 단독 생성 1회와 분업 7회, 총 8회를 시작했으며, 저장 가능한 응답은 7건 저장되었습니다. 8회에 해당하는 CEO의 최종 집약은 출력을 받지 못한 채 중단되었습니다.
여기에는 인공지능의 능력 부족과 혼동해서는 안 됩니다. 실행 환경의 제한이 상충되는 문제였습니다.
시작 측의 중단 시간은 30분으로 수정했으며, 실험 자체의 20분 및 8회라는 상한은 유지했다. 다만, 수정된 모든 공정은 아직 재실행하지 않았으며, “설정을 바로잡았다”와 “끝까지 작동하는지 확인했다”는 기록상으로도 분리하고 있다.
API 요금은 0원이라도 운영 비용은 0원이 될 수 없습니다.
이번 로컬 추론에서는 유료 외부 모델 API를 사용하지 않았습니다. 해당 API 이용료는 0원이었습니.
다만, PC 비용, 전기 요금, 개발 및 감독에 소요되는 인건비까지 모두 무료가 된 것이 아니었다. 전력 및 감독 관련 비용은 측정되지 않고 있다.
짧은 일본어 응답 테스트에서는 응답 시간이 약 5.8초와 약 2.3초였다. 반면, 기사를 만드는 비교용 단독 응답에는 약 156.5초가 걸렸으며, 분업으로 처리된 6개의 응답 처리 시간 합계는 약 603.4초였다.
이 숫자만으로는 ‘분업이 약 4배 더 지연되고 있다’고 말하기에 부족하다. 호출 횟수와 출력 예산의 차이, 단독 생성에 다른 빌드 작업이 중복되었고, 분업의 마지막 단계는 중단되었다. 각 실험 1회에서 일반적인 우열을 결정할 수 없다.
그럼에도 불구하고, 제가 가지고 있던 PC로 대기하면서 출력을 확인하는 업무는 남아 있었습니다. AI 직원들의 월급만 보고 인간의 확인 작업을 간과할 뻔했습니다.
다음으로 자동화하고 싶은 것은 “확인을 위한 사전 준비”입니다.
지금 저에게는 회사 전체를 한 번에 자동화하기 전에 구체적으로 어떤 부분을 자동화해야 할지 파악이 되었습니다.
첫째는 초고와 수정본 간의 차이점 확인입니다. 수정 요청을 했음에도 본문이 동일하다면 해당 사실을 기계적으로 알려주시기 바랍니다. 이번처럼 수정 완료 단계명만으로는 더 이상 진행이 불가능합니다.
두 번째로 검토에 필요한 자료를 정리하고, 주장의 근거 자료 및 미확인 사항 등을 정해진 형식으로 배열합니다. 정확성을 판단하기 전에 자료를 다시 찾는 시간을 줄이고자 합니다.
세 번째는 중단된 위치를 파악할 수 있는 이행(지속)입니다. 완료된 역할, 저장된 내용, 미완료 상태의 위치를 요약 목록으로 제공합니다. 실패할 때마다 모든 내용을 다시 읽는 부담을 줄이고 싶습니다.
이것들은 다음 검증에서 확인하고자 하는 개선안입니다. 이미 구현된 결과는 세지 않았습니다.
평가는 “AI가 몇 글자를 썼느냐”만으로는 충분하지 않다. 제대로 완성되었는지, 그리고 내가 확인하고 수정하는 데 얼마나 걸렸는지를 측정해야 한다.
사장님이 안심하고 자리를 비울 수 있는 곳까지
이번 실험은 전문 기사로서의 품질로는 미흡했다. 무인으로 회사를 운영할 수 있었다고 말하기에는 부족했다.
반면에, 5역 연결과 히스토리 저장 기능이 가능했기에, 어디에서 실수를 했고, 어디에서 멈췄는지 확인할 수 있었다. 성공한 부분과 바로잡아야 할 부분 모두 다음 실험에 활용할 수 있다.
지금은 짧은 정형 업무부터 시도해 보고, 정확성이 필요한 업무에는 모델 재선정과 명확한 검수를 결합하고 싶습니다.
AI 직원 수를 늘린 뒤 목표하는 것은 제가 같은 검증을 반복적으로 다시 하지 않아도 되는 것입니다.
가장 먼저, 안심하고 맡길 수 있는 일 하나를 진행해 보겠습니다.
AI 타운의 社장은 아직 바쁘다. 하지만, 다음으로 줄이고 싶은 업무는 명확히 되었다.
본 기사는 2026년 10월 12일의 실험 보고서, 측정 기록, 품질 평가에 근거한 체험 기록입니다. 문단의 구성 및 수정에 AI가 사용되었습니다. 여기서 보고한 실험에서는 Manus는 사용되지 않았습니다.
참조한 현장 기록: local-llm-20261012.md, metrics.json, evaluation.json, 저장된 생성본. 측정되지 않은 비용 및 미완료된 공정은 결과에 포함되지 않았습니다.
마눅스노트 "#자동화하고 싶은 것" 공식 모집 페이지
출처: note 원문
번역: Gemma 3(.44) 초벌 + 교정 38청크
원문 보기 | 출처: note.com