# AI 직원에게 “조사했다”고 들려왔다. 하지만 그 정보, 정말 믿어도 될까?

> https://bookfactory.kr/board/ai-tech/18471
> 게시판: AI·머신러닝
> 작성자: admin
> 작성일: 2026-09-24T21:21:13.148Z

---

![見出し画像](https://assets.st-note.com/production/uploads/images/317103609/rectangle_large_type_2_88172f5376d8360d2f2552c92506bf40.png?width=1280)

AI에게 일을 맡기는 데에는 “검증”이 필요했다.

AI에게 자료 조사를 부탁하면, 几十초 만에 그와 비슷한 답이 돌아온다. 회사명, 서비스 내용, 요금, 특징 등이 포함되어 있고, 출처까지 함께 제공되어 있어 안심이 된다. 나 역시 처음에는 그랬다. 하지만 AI 직원에게 실제 업무를 맡겨 시작했을 때, 어느 순간 갑자기 두려워졌다. “이 답이 정말 맞나?”

## 제시된 자료의 시각적인 모습보다 훨씬 더 심각한 문제가 있었습니다.

지난번에는 AI 직원에게 만든 PowerPoint를 보고 제가 “단어만 가득한 거잖아”라고 생각한 부분부터, 업무의 질을 어떻게 가르칠지에 대해 고민했습니다. 보기 좋을지, 전달될지, 다른 사람에게 전달 가능한 상태인지. 이를 위해서는 AI 직원에게 ‘정답’만 가르치는 것보다, 판단 기준을 갖게 하는 것이 좋을지 고민하게 되었습니다. 하지만 그 전에 좀 더 근본적인 문제 하나가 있었습니다. 자료가 아무리 보기 좋더라도, 그 근본적인 정보가 틀렸다면 아무 의미가 없으며, 오히려 깔끔하게 정리되어 있을수록 더 문제입니다. 잘못된 정보까지도 진실처럼 보일 수 있기 때문입니다.

실제로 확인했던 정보가 흔들렸다.

## 실제로 확인했던 정보가 흔들리는 것을 실감했습니다.

AI 직원에게 각도미현 내 웹 제작 회사를 조사해 달라고 요청했을 때, 조사한 정보를 바탕으로 보고서를 만들고 PowerPoint까지 제작하는 과정을 시도했다. 그 과정에서 이상한 일이 일어났다. 한때 “확인 완료”로 처리되었던 정보가 이후 확인에서는 “미확인”으로 되돌아가거나 다른 내용과 상반되는 경우도 있었다. 게다가 사실 확인에서 문제가 해결되지 않았음에도 불구하고 그대로 PowerPoint 생성까지 진행되었다. 그때 깨달았다. “이건 자료 정리 전 문제잖아.” AI 직원이 자신감 있게 “조사했습니다”라고 말했지만, 그것만으로는 업무적으로 받아들여질 수 없었다.

![画像](https://assets.st-note.com/img/1790249100-iOqUGFPdAIsl2MaCcwTvL3fB.png?width=1200)

## 검색 AI와 검증 AI를 분리하는 것이 좋을까요?

여기부터 조사 자체와는 별도로 “그 정보의 진위 여부를 확인하는 역할”이 필요하지 않나 생각하기 시작했다. 원본 페이지를 다시 한번 보았다. 확인이 되었는가? 확인되지 않았는가? 기록된 내용과 상충되지 않는가? 확인할 수 없었다면, 다시 한번 조사를 해야 한다. 상충된다면, 원본 정보를 우선하여 바로잡는다. 그리고 확인이 끝나지 않은 정보로 인해, 부적절하게 다음 자료 제작을 진행시키지 않는다. 현재는, 그러한 시스템을 구축하면서 시도하고 있다. 내 생각에, 이것을 단순한 “더블 체크”가 아니라, AI 직원들이 업무를 수행하기 전에 거치는 검토 단계로 생각하고 있다.

## 지난 글에 딱 재미있는 댓글이 왔습니다.

그렇게 생각하고 있었던 찰나에, 전 회사의 댓글을 받았다. 그 분은 자신이 만든 글을 “원작자와 다른 모델”에게 확인시키고 있었다. 더불어, 정보 수집을 맡기는 AI에게 각 항목의 출처 URL뿐만 아니라 “확인하지 못한 부분”과 “어디를 찾아봤는지”까지 작성하게 하고, 사용하기 전에 출처를 열어 확인하고 있었다. 이것을 읽고 상당히 흥미로웠다. 방법은 다를지라도, 충돌하고 있는 문제는 상당히 가깝다.

AI에 답을 제시하는 것보다 “그 답을 어떻게 믿을 수 있는 상태로 만드는가”에 집중하는 것이 더 중요합니다.

훨씬 더 일할 때 쓰려면 중요할 수 있습니다.

## 출처가 있다면 안심이지만, 그렇지 않다면 불안하다.

여기에도 최근에 자주 생각한다. AI가 출처 URL을 제공해 준다면, 그것으로 안심할 수 있을까? 분명, 그렇게 단순하지는 않을 것이다. URL이 존재한다고 해도, 그 페이지에 실제로 그 내용이 쓰여 있는 건가. 오래된 정보가 아닌가. AI가 페이지의 의미를 왜곡하지 않고 있는 건가. 여러 정보가 상충될 때, 어떤 것을 선택할 것인가. 결국 “출처를 덧붙이는” 것은 목표가 아니고, 확인을 위한 자료 중 하나라고 생각한다.

## 정확하게 하려고 하면 이번에는 일이 늦어질 거예요.

자, 모든 것을 꼼꼼히 확인시켜야겠다. 처음에는 그렇게 생각했다. 하지만 여기서 또 다른 문제가 발생했다. 확인을 늘릴수록 늘릴수록, 당연히 일은 늦어지기 마련이다. 하나의 정보를 조사하고, 확인하고, 불일치하면 재조사하고, 또 확인한다. 모든 일에 똑같은 수준의 확인을 한다면, 결국에는 AI에게 맡기는 의미가 희미해질 수도 있다. 정확성은 원하지만, 속도도 중요하다. 게다가 업무에 따라 필요한 정확성은 다를 수 있다. 회사 내 아이디어 구상과 고객에게 전달하는 자료에는 같은 확인 방법을 사용하기 어려울 것이다.

## 지금은 아직 답이 나오지 않았습니다.

AI 직원에게 일을 맡겨오면서 “할 수 있을까?”보다 오히려 이후에 더 어려움을 느낀다. 만들 수 있다. 검색할 수 있다. 요약할 수 있다. 하지만 일을 맡겨줄 때는, 그 결과에 어느 정도까지 믿어야 하는지 정하지 않으면 안 된다. 현재 나는 “AI에게 얼마나 자주 확인시켜야 정확한가?”라는 질문 대신 “어떤 일은 어느 정도까지 확인하면 충분한가?”를 생각하고 있다. 아마 다음에는 모든 것을 완벽하게 확인하는 시스템이 필요한 것은 아닐 것이다. 업무의 중요도나 위험도에 따라 확인의 깊이를 조절하는 것이 아닌가. 아직 시험 중이다. 확인을 계속 시키면 오히려 일이 늦어지기 때문이다. 다음에는 “정확성”과 “속도” 사이의 균형을 어떻게 찾아야 할지 고민해 보려고 한다.

죄송합니다. 제공된 일본어 note.com 게시글의 본문 청크 20/20가 없어 번역할 내용이 없습니다. 게시글 내용을 제공해주시면 100% 한국어 번역본을 제공해 드리겠습니다.

**출처:** [note 원문](https://note.com/fond_toucan2225/n/nc356ff64b4e2)

*번역: Gemma 3(.44) 초벌 + 교정 15청크*

[원문 보기](https://note.com/fond_toucan2225/n/nc356ff64b4e2) | 출처: note.com