# AI 직원의 평가는 '얼마나 똑똑한가'보다 '얼마나 교정을 받지 않는가'로 보는 것이 더 적절하다.

> https://bookfactory.kr/board/ai-tech/23631
> 게시판: AI·머신러닝
> 작성자: admin
> 작성일: 2026-10-24T10:18:26.980Z

---

AI 를 업무에 활용하면,

결국,

이 AI 는 똑똑하다

이 모델의 성능이 뛰어납니다.

이전에 비해 답변의 질이 좋아졌습니다.

이러한 관점에서 봅니다.

물론입니다.

AI 자체의 성능도 매우 중요합니다.

하지만,

회사에서 AI 를 활용한다면,

그것만으로는,

평가하기 어렵다고 생각합니다.

그 이유는

사실 회사가 진짜 알고 싶은 것은

그 AI 가 얼마나 지혜로운가보다, 업무로서 실제로 도움이 되는가가 더 중요하다.

그렇습니다.

그렇다면,

AI 회사의 직원의 업무는

어떻게 평가해야 할지.

첫 번째로, 명확한 지표가 될 것으로 생각하는 것은,

사람에게 직접 전달되는 양이 줄어든 건가.

그렇습니다.

## 완벽한 AI 직원은 처음부터 존재하지 않습니다.

AI 에 새로운 업무를 맡기면,

처음부터,

원하는 결과가 나오지 않을 수도 있습니다.

문체의 톤이 다릅니다.

필요한 정보가 빠져 있습니다.

불필요한 설명이 들어갑니다.

중요한 부분을 판단할 수 없다.

회사의 고유 규칙을 모른다.

사람이,

필요에 따라 수정할 수도 있습니다.

그런데도,

그것 자체는,

그런 문제는 그렇게 생각하지 않습니다.

문제는

10 회 일을 해도 매번 같은 부분만 지적당한다.

입니다.

## 만약 같은 수정이 계속된다면, 회사 측에도 문제가 있다.

예를 들어,

AI 가 작성한 글에 대해,

매번,

이 표현은 지나치게 강하다.

사람이 바로잡았다고 가정해 봅시다.

1 회차.

다시 곧게 세웠다.

2 차.

또다시 바로 고쳤습니다.

3 차.

또한 같은 곳을 고쳤습니다.

이 정도까지 왔다면,

AI 의 성능 문제만이 아닙니다.

이러한 수정은

회사 규칙상,

AI 로 돌아가지 않은 상태일 수 있습니다.

즉,

사람이 바로잡아 끝내야 한다.

이해되었습니다.

이렇게 되면,

AI 는 다음 업무에서도,

동일한 실수를 반복합니다.

그래서,

수정은 작업이 아니라 다음 작업을 더 잘 수행하기 위한 정보입니다.

이로써 처리해야 합니다.

## 「몇 번 교정했는지」는 명확합니다.

AI 직원의 평가는

생각할 필요는 없다고 생각합니다.

예를 들어,

처음에는,

10 곳의 직장을 정리했다.

다음은,

7 개소가 되었습니다.

다음은,

3 곳으로 되었습니다.

최근에는

거의 바로 사용할 수 있습니다.

그렇다면,

매우 잘 이해가 갑니다.

AI 직원의 업무가 개선되고 있습니다.

그렇다고 할 수 있다.

반대로,

모델을 새로 만들었습니다.

프롬프트도 변경했습니다.

시스템도 늘렸습니다.

그런데도,

인간의 수정량이 변하지 않는다.

그렇다면,

회사로서는,

개선되지 않았을 가능성이 있습니다.

## 수정 횟수만으로는 부족하다.

물론입니다.

무엇을 고쳤는지

그만, 일어나.

업무의 품질을 모두 판단할 수는 없습니다.

한 글자의 오타와,

중대한 사실 오해의 경우,

무게가 다릅니다.

그래서,

실제로는,

수정 유형도 확인하고 싶습니다.

예를 들어,

미미한 수정.

표현의 수정.

사실 확인.

중요 정보 누락.

규칙 위반입니다.

판단이 필요한 부분입니다.

공개되지 않는 내용입니다.

이러한 것들을 구분하여 살펴봅니다.

그런 다음,

AI 직원들이

어디서 실패하기 쉬운지도 파악할 수 있습니다.

## 확인 시간도 중요한 평가 기준이 됩니다.

과거에는

AI 에 업무를 맡기면,

확인해야 할 업무가 늘기도 합니다.

이런 노트를 작성했습니다.

AI 가 10 분 만에 업무를 수행하더라도,

만약 인간이 40 분간 확인했다면,

전체 업무 시간은 50 분입니다.

그래서,

AI 직원을 평가할 때는,

결과물뿐만 아니라,

인간이 몇 분 동안 확인했는지

그것도 매우 중요하다고 생각합니다.

처음에는,

30 분이 걸렸습니다.

다음은,

20 분.

다음은,

10 분.

최근에는

5 분만 확인하면 끝납니다.

이것도,

매우 명확한 성장입니다.

## 인간의 개입 횟수도 확인 가능합니다.

AI 직원이 업무 수행 중

어느 날,

사람에게 물었는가.

어느 날,

판단해달라고 요청한 건가.

어느 날,

작업을 멈췄는가.

이것도,

업무에 따라 참고가 될 수 있습니다.

물론입니다.

확인하지 않고 혼자서 나아가는 것보다,

필요한 곳에서 멈추는 일도 있습니다.

따라서,

인간에게 질문을 적게 하는 것이 좋으니.

그렇습니다. 단순한 이야기라고 할 수 없습니다.

가장 중요한 것은,

원래 AI 가 판단할 수 있는 부분에서는 매번 인간에게 물어보는 것이 없는지 확인하지 않았는가.

반대로,

사람들이 판단해야 할 일을 자의적으로 진행하지 않은가.

그것을 보는 것입니다.

## 「止まれたこと」も評価したい

AI 직원의 평가라는 말은,

얼마나 일을 진행해 나갔는지

눈이 그쪽으로 향한다.

그런데도,

나는,

정확히 멈췄는가

그 또한 매우 중요하다고 생각합니다.

정보 부족입니다.

권한이 없습니다.

금액을 확정할 수 없습니다.

외부 전송은 승인 절차가 필요합니다.

고객 정보를 처리합니다.

이러한 상황에서,

AI 가 스스로 발전하지 않고,

「여기엔 인간이 확인해 줘」

그리고 멈출 수 있습니다.

이것은,

그건 실패가 아닙니다.

오히려

훌륭한 일입니다.

AI 직원들에게는,

진화하는 능력뿐만 아니라,

멈출 수 있는 능력

필요하다고 생각합니다.

## 속도만으로 평가하면 위험할 수 있습니다.

인공지능은

빠릅니다.

그래서,

결국,

처리 시간을 평가하고 싶습니다.

하지만,

빠르게도,

오해했다면 그 말은 의미가 없습니다.

빠르게도,

확인 시간이 오래 걸린다면,

전체적으로 작업 속도가 빠르지 않습니다.

빠르게도,

각각이 수정을 계속했다면,

회사로서의 부담은 여전히 남습니다.

따라서,

AI 직원의 평가는,

속도뿐만 아니라,

예를 들어,

수정량

확인 시간

재시도 횟수

인간 개입

규칙 위반

완성까지의 시간

그런 것들,

전체 업무 관점에서 살펴보는 것이 더 좋을 것 같습니다.

## AI 직원에게도 '평가표'가 필요해질 수 있습니다.

직원에게는,

인사평가도 있습니다.

목표.

성과.

개선.

과제.

성장.

AI 직원들이,

사실상 회사의 일을 떠맡게 된다면,

AI 직원에게도

필요할지도 모릅니다.

다만,

인간과 동일한 평가 체계를 도입할 필요가 없습니다.

더 단순한 게 좋습니다.

예를 들어,

이전보다

수정이 줄어들었나요.

시간이 줄어든 건가.

중대한 실수가 없었는지.

규칙을 지키셨나요.

적절한 시기에 사람을 확인했는지.

이러한 일을 목격한다.

그것만으로도,

AI 직원들이,

정말 업무 개선이 이루어지고 있는지

충분히 이해하실 수 있을 것입니다.

## AI 모델 평가와 AI 직원 평가는 다르다.

여기는,

분리하는 것이 더 좋다고 생각합니다.

예를 들어,

GPT 와 Claude, Gemini 를 비교합니다.

이것은,

AI 모델 평가입니다.

그런데도,

회사 내에서

블로그 담당 AI 직원

평가한다면,

관찰해야 할 것은,

어떤 모델을 사용하는지

그뿐만이 아닙니다.

회사 정보를

올바르게 사용했는가.

톤을 지키셨나요.

사실을 확인할 수 있었습니다.

필요한 곳에서,

확인하셨나요.

수정이 줄었나요.

즉,

AI 모델의 성능 평가와 AI 직원의 업무 평가는 별개의 문제입니다.

그렇다고 생각합니다.

이 부분을 나누어 살펴보면,

AI 선택 방법도 달라집니다.

## 모델을 바꾸고 업무가 더 잘 되었나요

새로운 AI 모델이 출시되면,

일단 바꿔보겠습니다.

이러한 일이 발생할 수 있습니다.

그런데도,

모델을 변경한 결과,

정말 업무 능력이 좋아진 건가.

여기에서도,

평가받을 수 있도록 하고 싶습니다.

예를 들어,

변경 전에는,

평균 15 분으로 확인했습니다.

변경 후에는

8 분이 되었다.

수정도 줄어든다.

그렇다면,

모델 변경이 효과를 발휘했다.

그렇다고 할 수 있다.

반대로,

새로운 모델로 만들었지만,

인간의 수정량이 늘었다.

그렇다면,

그 업무에서는,

이전 모델이 더 좋았을 가능성도 있습니다.

새것이라니, 괜찮아.

고 성능이라니, 그건 좋은 일입니다.

아니요,

그 회사의 그 업무가 괜찮을까요.

확인하다.

이 부분이 중요하다고 생각합니다.

## AI 직원의 평가는 다음 개선으로 이어지도록 존재한다.

평가라는 말은,

점수를 매기는 상황을 상상해 보세요.

하지만,

AI 직원인 경우,

순위 매기는 것이 목적이 아닙니다.

가장 중요한 것은,

다음에 무엇을 고쳐야 할지 찾아내는 것입니다.

그렇다고 생각합니다.

수정이 많았다.

그렇습니다.

왜 그렇게 많은 걸까.

전제 정보가 부족하지 않은가.

품질 기준이 모호한 건가.

사용한 자료는 다름인가.

모델이 맞지 않는 건가.

업무 분담이 지나치게 거대하지 않은지.

인간 확인 항목이 적절하지 않은가.

평가에 따르면,

다음 개선 방안을 고려해 보겠습니다.

이 정도까지 해보세요.

처음에,

AI 직원들은 어제부터 더 나은 업무를 수행할 수 있게 되었습니다.

## 피해 사실을 인정하고 다음 업무로 돌아오다

昨日の記事では、

AI 직원 몇 명을 고용하는 것보다, AI 직원이 어제보다 더 나은 성과를 낼 수 있는 조직을 만드는 것이 중요합니다.

이 이야기를 썼습니다.

이를 위해서는,

사람이 직접 고친 일을,

그 자리에서 끝내지 않는다.

왜 고쳐야 했는지 남겨두었다.

이러한 업무에 반영합니다.

그리고,

수정 건수가 줄었는지 확인해 봅니다.

이 순환이 필수적입니다.

일을 한다.

사람들이 확인한다.

수정하겠습니다.

이유를 남기다.

이를 다음 업무에 반영하겠습니다.

평가해 보겠습니다.

그리고 또,

개선하자.

이렇게,

회사 측에서도 개선 체계를 갖춰야 한다.

이것이,

AI 직원을 'AI 를 활용하는 기업'으로

AI 직원들과 함께 '학습하는 기업'과 그 차이점이 있을지도 모릅니다.

## 「지혜로운 것처럼 보이는」이라기보다는「업무 능률이 좋아졌는가」

AI 의 답변을 살펴보면,

매우 자연스럽고,

지혜롭게 보일 때가 있습니다.

그런데도,

기업에게 가장 중요한 것은,

그가 지혜로운 사람인지 아닌지는 아닙니다.

작업이 더 잘 되었나요.

그렇습니다.

수정된 인원이 줄었다.

확인 속도가 빨라졌습니다.

오류가 감소했습니다.

정확하게 멈출 수 있게 되었다.

회사의 규칙을 지키게 되었습니다.

그렇다면,

AI 직원들은

확실히 훌륭한 성과를 거둘 수 있게 되었습니다.

AI 직원을 평가한다면,

벤치마크 수치뿐만 아니라,

실제 업무가 어떻게 변했는지 확인해 보겠습니다.

KURUM AI OFFICE에서도,

이후에는

무엇을 시키느냐뿐만 아니라,

어떻게 평가하고 어떻게 개선해야 하는가.

이 정도까지 포함합니다.

구체적인 작동 원리를 설명드리겠습니다.

※この記事は、KURUM AI OFFICEの支援により構成・下書きを作成し、株式会社クルム代表の佐藤祐司が内容を確認・編集したうえで公開しています。

**출처:** [note 원문](https://note.com/kuruminc/n/ne587b3fdc370)

*번역: Qwen 3.5(.48) 초벌 + 교정 137청크*

[원문 보기](https://note.com/kuruminc/n/ne587b3fdc370) | 출처: note.com