# AI 직원 6명을 고용하여 6개월 동안 가장 정신 없는 일은 ‘제작 방식’이 아닌 ‘평가’ 때문이었다는 이야기

> https://bookfactory.kr/c/ai-tech/10131
> 게시판: AI·머신러닝
> 작성자: admin
> 작성일: 2026-08-20T08:49:32.534Z

---

![見出し画像](https://assets.st-note.com/production/uploads/images/305033761/rectangle_large_type_2_38acb3ee3a676189f3c07f2d61d1d0a0.png?width=1280)

## 目次

- 6명 분량의 초고가 모여 깔끔하게 정렬되어 있었습니다.
- AI 직원에게는 “만들기”보다 “평가하기”가 현실입니다.
- 이번 주 AI 직원 평가를 위한 평가 항목 시트 제작
- 지침서를 전면 재작성하지 않고, 불합격한 1행만 수정한다.
- 각 AI 직원에게 매일 보고서를 작성하게 하고, 다음 날 자신에게 전달하도록 지시했습니다.
- AI 직원 과잉 문제를 해결하고 통합하기 위한 기준 마련

AI 활용의 성공 여부는 얼마나 좋은 지시서(프롬프트)를 만들 수 있느냐에 따라 결정된다고 흔히 말합니다. 저는 그것을 맹신하고 반 년 동안 해왔는데, 결과적으로 성과를 완전히 정체시켰습니다. 계기는 거래처로 향하는 전철 안에서 스마트폰으로 AI 직원들의 야간 로그를 훑어보던 중이었을 때였습니다. 3개월 전에 저장한 것과 거의 같은 품질의 초고가 당시와 똑같이 우아하고 자신감 넘치는 말투로 나열되어 있었고, 저는 손잡이를 꽉 쥐고 손가락을 멈췄습니다.

인간 부하 직원이라면,こういう 때는 간단합니다. “저거, 작년에도 똑같은 말 했었지?”라고 한마디로 끝맺습니다. 그런데 제가 반년 동안 고용한 AI 직원 6명에게는, 그 “작년에도 말했었지?”가 한 번도 전달되지 않았습니다. 전달하지 않았으니까 당연합니다. 저는 매일 밤, 꼼꼼하게 같은 지시서를 전달하여, 같은 정도 점수인 초고를 받고, 그것을 제가 직접 수정한 다음, 더 똑똑해진 것 같은 기분만 되돌아갔습니다.

## 6명 분량의 초고가 모여 깔끔하게 정렬되어 있었습니다.

제 AI 직원들은 아이디어 발상 담당, 초고 작성 담당, 제목 담당, 비즈니스 상담 조사 담당, 교정 담당, 그림 해설 담당의 6명입니다. 만들 당시에는 감동받았습니다. 그동안 제가 반나절씩 걸리던 작업이 아침에는 형태가 갖춰져서 나오는 것을 보니까요. 처음 한 달 동안은 틈새 시간도 늘어나고, 저는 자신을 꽤나 훌륭한 경영자라고 생각했습니다.

문제는 2개월 차부터 서서히 발생했다. 출력이 좋지 않고 나쁘지 않다. 교정 담당은 매번 꼼꼼히 같은 3가지 종류의 오류만 수정하고, 내가 정말 신경 쓰고 있던 4번째 습관은 반년 동안 무시했다. 초고 담당은 내가 “여기 약한데”라고 손으로 직접 고친 부분을 다음 주에 또 똑같은 방식으로 내놓아 왔다. 인간이라면 몇 번인지에서 다른 사람의 취향을 알아야 할 일인데, 전혀 축적되지 않는 것이다.

그 이유는, 돌이켜 생각하면 부끄럽게도 단순했습니다. 저는 AI 직원 채용만 했을 뿐, 한 번도 평가를 해본 적이 없었습니다. 평가, 피드백, 승진, 직무 이동도 없는 그곳에서, 반년 동안 같은 지시를 내려놓고 방치했습니다. 그런 곳에서 성장하는 직원은 인간도 AI도 없습니다. 세상에는 온갖 “AI 직원 만드는 법” 기사만 넘쳐나 있었고, 만든 후 결과가 제자리걸음이 되었을 때 무엇을 고쳐야 하는지는 어디에도 쓰여 있지 않았습니다.

지난 반 년 동안 저는 지침서 템플릿 모음을 여러 개나 구매했고, 프롬프트의 표현 방식을 거의 100회 가까이 바꿔봤지만, 매번 ‘이번에는 더 현명해지겠지’라는 기대는 끊임없이 좌절되어 왔습니다. 계산하기 싫은 밤의 시간을 당신은 한 번도 지불하지 않았고, AI 직원으로서 ‘만들기’ 측에서 ‘평가하고 키우기’ 측으로 한 번에 도달할 수 있었습니다.

**출처:** [note 원문](https://note.com/kyomeisekai/n/nfc1574ca4df6)

*번역: Gemma 3(.44) 초벌 + 교정 8청크*

[원문 보기](https://note.com/kyomeisekai/n/nfc1574ca4df6) | 출처: note.com