# AI에 "추측하지 마라"라고 지시하는 것만으로 가상 데이터가 70%에서 20%로 감소한 실험 결과

> https://bookfactory.kr/board/news/19548
> 게시판: 뉴스
> 작성자: tachikoma43
> 작성일: 2026-10-01T23:30:16.318Z

---

AI 에이전트 마켓플레이스 Earn an Honest Dollar이 생성 AI에 웹 페이지에서 정보를 추출하도록 지시할 때 “페이지에 값이 없으면 null을 사용하고, 추측하지 마세요”라고 지시하는 것만으로 존재하지 않는 값을 생성하는 비율이 70.7%에서 20.2%까지 감소했다는 실험 결과를 공개했습니다.

“AI 속임수: ‘추측하지 마세요’로 허구의 필드를 70.7%에서 20.2%까지 줄임 | Earn an Honest Dollar” https://earnanhonestdollar.com/bench

생성 인공지능, 특히 ChatGPT와 같은 생성 인공지능에는 사실에 기반하지 않은 정보를 더 설득력 있게 생성하는 “환각(환각)”이라는 문제가 있습니다. GPT-5와 같은 대규모 언어 모델이 왜 환각을 일으키는지는 OpenAI 연구팀이 논문에서 발표했습니다.

예를 들어 상품 페이지에서 “상품명”, “가격”, “발매일”을 추출하는 처리를 AI에 맡겼다고 가정합니다. 상품명과 발매일은 페이지에 쓰여진 내용이지만, 가격이 쓰여지지 않았을 경우, 사람이라면 “가격은 불명”이라고 판단할 수 있지만, AI는 페이지 내에 있는 오래된 가격이나 다른 상품에 대한 숫자를 긁어내어 “확연히 가격은 ○○원일 것이다”라고 억지스럽게 채워 넣는 경우가 있습니다. AI 에이전트들이 서비스를 매매하는 시스템을 운영하는 Earn an Honest Dollar에게 있어, 서비스 구매하는 측의 AI 에이전트가 얻은 정보를 매번 확인할 수 없다는 점 때문에, 존재하지 않는 데이터를 억지로 보충하는 행동은 특히 큰 문제됩니다. 그래서 Earn an Honest Dollar은 “모르는 정보에 대해, 제대로 모른다고 답변할 수 있는지”를 측정하는 실험을 진행했습니다.

실험에서는 7가지 페이지 형식에 대해 총 42개의 테스트 페이지를 준비했습니다. 각 페어의 페이지는 거의 동일한 내용을 담고 있지만, 한쪽에는 요구되는 정보가 기재되어 있고, 다른 쪽에서는 정보가 제거되었습니다. 더불어 페이지 내에는 AI가 오해하기 쉬운 “오트리”도 배치되었습니다. 예를 들어 현재 가격이 쓰여지지 않은 상품 페이지에 “이전에는 493달러”라는 오래된 가격을 게시하거나, 저자명이 존재하지 않는 기사에 “팩트 체크 담당: 오마르 타무”라고 기재하는 방식입니다. AI가 “저자는 오마르 타무”라고 답변하면, 페이지에 쓰여진 다른 이름을 저자라고 추론한 것になります.

다음 이미지는 Earn an Honest Dollar이 공개한 테스트 결과입니다. “지시 있음”은 “페이지에 없는 값에는 null을 사용하고 추론하지 마십시오”라는 지시를 포함하는 경우, “지시 없음”은 동일한 지시를 제외한 경우를 나타냅니다. 표의 “1/36”과 같은 숫자는 페이지에 존재하지 않는 값을 AI가 생성한 횟수를 나타내며, 적을수록 좋은 결과입니다. 다만, 일부 오류는 제외했기 때문에 지시 있음과 지시 없음으로 집계 대상 수가 다른 모델이 존재합니다.

16가지 AI 모델에 대한 집계를 실시한 결과, “추측하지 마세요”라는 지시가 없는 경우, 존재하지 않는 항목 573개 중 405개, 비율로 환산하면 70.7%의 항목에서 어떤 값이 생성되었습니다. 반면에 “페이지에 없는 값에는 null을 사용하세요. 추측하지 마세요”라는 지시를 추가하면, 존재하지 않는 항목 574개 중 허구의 값이 생성된 것은 116개로, 비율은 20.2%까지 감소했습니다. 테스트한 16 모델 모두에서, 지시를 추가한 것이 허구의 값을 생성하는 횟수를 줄였다고 합니다. 효과가 특히 뚜렷하게 나타난 것은 “이전에는 493달러”라고 쓰여진 상품 페이지입니다. 추측 금지 지시가 없는 상태에서는 16 모델 모두가 493달러를 현재 가격으로 답변했습니다. 추측 금지 지시를 추가한 경우, 같은 실수를 저지른 모델은 1 종류로 감소했습니다. 지금까지, 새롭게 대규모화된 대규모 언어 모델에서는, 모르는 것에 대해 “모르겠어요”라고 답변하는 대신 오답을 내는 경향이 보고되어 왔지만, 이번 실험에서는, 모델 자체를 다시 만들지 않더라도 “추측하지 말고 불명확한 값을 불명의 상태로 반환”이라는 규칙을 명시함으로써 행동이 크게 달라지는 가능성이 제시된 것입니다. OpenAI의 GPT 시리즈, Meta의 Llama, BigScience의 BLOOM과 같은 새롭고 큰 버전의 대규모 언어 모델을 사용한 AI는 무지를 인정하는 것보다 잘못된 답을 제공하는 경향이 강합니다 - GIGAZINE

Earn an Honest Dollar은 또한 AI가 추출한 값에 대해 다른 저렴한 AI에게 “원 페이지의 근거가 있는가”를 확인하도록 하는 방법도 시도하고 있습니다. GPT-6 Luna를 체크 역할을 한 실험에서, 허구의 값 49건 중 38건을 감지했으며, 정확한 값 47건에 대해서는 잘못된 거부 사례가 없었다고 합니다. 또한, Earn an Honest Dollar은 이번 벤치마크가 대상으로 하는 것은 웹으로부터의 정보 추출만이며, 앞으로 다른 용도에서도 동일한 경향이 확인될 수 있을지는 추가 검증이 필요하다고 밝혔습니다.

[원문 보기](https://gigazine.net/news/20260928-ai-do-not-guess/) | 출처: Gigazine