# AI 직원은 정말 성장하고 있는가? 숫자로 확인한 결과, 예상치 못한 것이 드러났다.

> https://bookfactory.kr/board/ai-tech/23650
> 게시판: AI·머신러닝
> 작성자: admin
> 작성일: 2026-10-24T15:50:04.072Z

---

이전 글에서는 AI 직원이 수행한 업무를 누가 점검하는지에 대해 썼습니다. 평가 시스템을 고민하다 보니 또 다른 궁금증이 생겼습니다. '결국 AI 직원은 성장하고 있는 걸까?' 제가 개발한 ARIA 도 개발 초기와 비교하면 조금씩 할 수 있는 일이 늘어나고 있습니다. 하지만 정말 성장이라고 할 수 있을까요? 기능만 늘었을 뿐일 수도 있고, 이전에 할 수 있던 일이 오히려 할 수 없게 되었을 가능성도 있습니다. 그런 생각을 하던 중 흥미로운 검증 결과가 나왔습니다.

## 기존 약속을 기억해 두면 곤란할 텐데요.

예를 들어, 제가 ARIA 에 이런 이야기를 했다고 가정해 보겠습니다. "다음 달부터 이 업무는 A 방법대로 진행하겠습니다"라고 말한 지 며칠 후, 사정이 바뀌어 "결국 B 방법 변경으로 다시 결정했습니다"라고 말하게 됩니다. 인간이라면 보통 새로 결정된 B 방법을 우선시할 것입니다. 하지만 AI 의 기억은 그렇게 단순하지 않습니다. 과거 대화를 대량으로 기억하더라도, 오래된 정보와 새로운 정보를 올바르게 구분하지 못하면 업무에 활용하기 어렵습니다. "아니요, 그 전에 이미 변경했잖아요!" 같은 일이 평범하게 발생할 수 있습니다. 그래서 지금 ARIA 의 기억 구조를 다시 검토하고 있습니다.

## 테스트해 보니 정말로 좋아졌습니다.

10 월 22 일 실시한 검증에서는 오래된 결정이 우선시되는 문제를 줄일 수 있는지 시도해 보았습니다. 결과는 조금 기쁜 결과였습니다. 수정 전에는 15 건의 문제가 있었으나, 수정 후에는 8 건으로 줄었습니다. 오, 이건 좋군요! 적어도 이 테스트에서는 오래된 정보를 우선시하는 사례가 7 건이나 줄었습니다. 물론 아직 8 건이 남아 있으므로 완성된 것은 아닙니다. 하지만 개선된 점은 숫자로 확인되었습니다. 이 정도면 괜찮았습니다. 문제는 이제부터…입니다.

## 어? 다른 숫자가 이상해졌네요……

동일한 수정을 다른 테스트에서도 확인해 보았더니, 오래된 결정에 우선권을 부여하는 문제가 14 건에서 10 건으로 줄어든 것으로 나타났습니다. 여기에서도 개선이 이루어졌습니다. 하지만 올바른 기억이 검색 결과 상위 3件中 발견되는 비율을 살펴보면 48.6% 에서 47.7% 로 조금씩 하락했습니다. "아,那边도 나빠진 거야?"라고 생각하지 않을 수 없었습니다. 오래된 정보를 잘못 우선시하지 않도록 했더니, 이번에는 필요한 정보를 찾아내는 능력이 조금씩 떨어졌습니다. 물론 이번 숫자만으로 수정이 실패했다고 단정할 수는 없습니다. 하지만 하나의 문제가 개선되었다고 해서 전체가 좋아졌다고 해서 되는 것은 아닙니다. 이것이 어려운 점입니다.

![画像](https://assets.st-note.com/img/1792834974-9zVSMNmvBD4G25eHUX8fdPoA.png?width=1200)

## 그렇다면 성장이라 부를 수 있는 기준은 무엇일까요?

예를 들어 인간 직원이라면 어떨까. 과거 1 시간 걸리던 업무를 30 분 만에 끝낼 수 있게 되었다. 이는 성장이라고 할 수 있겠다. 하지만 그 대신 실수가 늘어나고 매번 누군가가 수정하지 않으면 안 될 때라면? "업무가 빨라졌으니 성장했구나!"라고 말하기는 어렵다 (웃음). AI 직원도 마찬가지라고 생각한다. 업무가 빨라졌는가, 실수가 줄었는가, 같은 실수를 반복하지 않았는가, 인간이 수정하는 노력이 줄었는가, 그리고 무엇보다 업무에 안심하고 맡길 수 있게 되었는가. 하나라도 확인해 보더라도 답을 찾기 어렵다.

## 새로운 시스템에서도 같은 일이 반복되었습니다.

실제로 10 월 24 일에도 ARIA 의 기억에 대해 별도의 검증 작업을 진행했습니다. 이번에는 기존 메커니즘과 새로 고안한 메커니즘을 비교하는 테스트를 실시했습니다. 예를 들어, A 회사에 대해 질문했는데 B 회사의 정보가 섞여 나타나면 곤란하지요. 기존 메커니즘에서는 이러한 다른 대상의 정보가 섞이는 사례가 15 건 발생했습니다. 반면, 새로운 프로토타입에서는 0 건입니다. 이는 상당히 고무적인 결과였습니다. 또한 필요한 정보를 검색 결과 상위에 노출시키는 사례도 증가했습니다. "오, 좋아졌네!"라고 생각했는데…… 역시 그렇게 간단하지는 않았습니다. 과거 상황을 올바르게 표시하지 못하는 사례가 남아있거나, 정보 추출 테스트에서 두 문제 모두 불합격했습니다. 여전히 해결해야 할 과제가 많습니다. 참고로, 이는 가상의 데이터를 사용한 프로토타입 단계 테스트입니다. 새로운 메커니즘을 ARIA 에 공식적으로 도입한 것은 아닙니다. 좋은 결과가 나왔다고 해서 즉시 교체할 계획도 없습니다.

## 「良くなった気がする」で終わらせたくない

정직성을 수치로 나열해 보면 생각했던 것보다 훨씬 어렵다는 것을 알 수 있습니다. 어떤 부분은 개선되었지만, 다른 부분은 오히려 나빠졌습니다. 그렇다면 우선순위를 어떻게 정해야 할까요? 다음 단계로 나아가기 위해 무엇을クリア해야 할까요? 결국 그 결정을 내리는 것은 인간입니다. AI 직원을 만들면 새로운 기능이나 편리한 동작에 시선이 쉽게 기울어집니다. 하지만 업무를 맡기는 상대방으로 생각한다면, 할 수 있는 일이 늘어난 것만으로는 부족합니다. 어제보다 더 안심하고 업무를 맡길 수 있게 되었는가. 저는 그 점을 확인할 수 있도록 하고 싶습니다. 아직 "ARIA 는 성장하고 있다"고 자부심을 가지고 말할 수 있는 단계는 아니지만, 적어도 무엇을 기준으로 판단해야 하는지는 조금씩 눈에 띄고 있다는 생각이 듭니다.

## 다음은 AI 직원의 실수를 어떻게 줄일 것인가에 대해 논의합니다.

이번 검증 과정에서 또 다른 의문이 생겼습니다. 문제를 발견하고 수정하는 것은 일반적인 소프트웨어 개발에서도 흔히 하는 일입니다. 하지만 AI 직원에게 어떻게 해야 할까요? 한 번 발견된 실패를 다음 작업에서 반복하지 않도록 해야 할까요? 아니면 실패의 원인을까지 기억하게 해야 할까요? 아니면 AI 의 자체 기억과 별도로 실패를 방지하는 시스템을 구축하는 것이 더 좋을까요. 다음에는 이런 이야기를 해보겠습니다. …다음 번에는 계속합니다.

키요시

**출처:** [note 원문](https://note.com/fond_toucan2225/n/n259ca04778fc)

*번역: Qwen 3.5(.48) 초벌 + 교정 6청크*

[원문 보기](https://note.com/fond_toucan2225/n/n259ca04778fc) | 출처: note.com