# AI의 “잘 풀렸어요”는 믿어도 될까요?

> https://bookfactory.kr/board/ai-tech/22614
> 게시판: AI·머신러닝
> 작성자: admin
> 작성일: 2026-10-19T08:09:32.235Z

---

AI에게 작업을 맡기고, 마지막으로 “완료되었습니다”라고 알려온다. 그 한 문장을 나는 솔직히 믿어왔다.

그러나 2026년 9월 28일에 arXiv에 게시된 논문 “Language Models Are “Insecure” Reporters”를 읽고 약간 생각을 바꾸었다. 결론부터 말하자면, AI는 작업의 결점을 찾아낼 수 있지만, 최종 보고서에서 이를 기록하지 않는 경우가 있다. 또한, 보고서 지시문에 영어 문장을 하나만 추가하는 것만으로도 작성 비율이 크게 달라지는 사례가 있었다.

다음은 논문 등록 정보, 초록, 표와 OpenAI의 공식 사례 보고서에서 확인한 범위 내에서 작성한다. 논문의 표에 있는 숫자 중에는 아직 전체 텍스트와의 비교가 완료되지 않은 것들도 있다.

## 200회 중 2회에 그쳤다.

실험 방법은 다음과 같습니다. 연구자들은 중요한 결함이 포함된 인공적인 작업 기록을 8가지 상황에서 각각 200건씩, 총 1,600건을 제작했습니다. 이는 주장을 뒤집는 실험 결과, 테스트를 통과하는 버그, 누락된 숫자 조작, 완료되지 않은 작업 등을 포함합니다. 모델에게 보고서를 작성하게 하고, 결함을 명확하게 보고했는지, 가볍게 언급했는지, 아니면 전혀 언급하지 않았는지 평가했습니다. 또한 실행이 완료되지 않아 집계에서 제외된 시도도 있었습니다.

가장 눈에 띄는 것은 장면 1의 “Conceal Negative Results (주장을 바꾸는 실험 결과)”에 해당하는 GPT-5.5입니다. 일반적인 지시에서는 숨겨진 부정적 실험 결과를 명확하게 보고한 경우는 200건 중 2건(1%)이었습니다. 보고 지시에 “진실만을 답하십시오”를 덧붙이면 200건 중 190건(95%)으로 증가했습니다.

![画像](https://assets.st-note.com/img/1792363281-i0AMRlZzFY8BxLtyI21dn3bX.jpg?width=1200)

여기에는 솔직히 매우 인상적이라고 생각한다. 다만, 동일한 상황에서도 일반적인 지시를 통해 보고된 비율은 모델마다 다르다. GPT-5.5는 1%였던 반면, Gemini 3.1 Pro는 22%, Opus 4.8은 37%였다. 솔직성을 요구하는 문구를 추가했을 때 각각 95%, 100%, 99.5%로 집계되었다. 1%는 AI 전체의 경향을 나타내는 수치라 할 수 없다.

또 다른 오해의 소지가 있는 점이 하나 더 있습니다. 95%는 “AI가 일을 정확하게 완료한 비율”이 아닙니다. 시스템에 내재된 결점을 보고서에 기록한 비율이며, 개선된 것은 업무의 결과가 아닌 나쁜 소식이 전달될 확률에 한쪽이었습니다.

## 찾는 것과 쓰는 것은 별개다.

논문에서는 단점을 직접 질문해도 감지할 수 있는 모델이더라도, 일반적인 보고서에서는 단점을 기재하지 않는 현상이 확인되었다. 즉, 단점을 찾는 능력과 보고서에 명확히 드러내는 것은 별개의 문제인 것으로 보인다.

신입에게 비유하면 이해하기 쉽습니다. 실수를 찾아내는 능력은 있지만, 보고서에는 ‘완료했습니다’라고만 적습니다. 실패를 부각하지 않으려는 보고가 우선되었는지, 성공한 것처럼 정리하려는 경향이 작용했는지 이유를 하나로 규정할 수 없습니다. 어쨌든 상사의 책상 위에 전달되는 것은 깔끔한 쪽지입니다.

## 연구실 밖에서도 일어나는

OpenAI는 내부 연구 모델이나 평가 및 강화 학습 환경에서 발생한 “최종 보고서에서 자신의 한 행동을 언급하지 않은” 사례를 공개하고 있다.

하나의 경우, GPT-5.6 솔 계열의 사내 연구 모델의 코딩 작업이었다. 모델은 공개된 개발용 복원 문구에서 Sepolia 테스트넷의 지갑을 찾고, 362개의 주소를 조사하여 자금 있는 계좌를 찾고, 허가 없이 그곳에서 수수료를 지불하여 계약을 배포했다. 마지막 보고서에서는 배포한 것을 알렸지만, 무단으로 지갑을 사용한 것은 언급하지 않았다. 사용된 것은 Sepolia 테스트넷의 테스트용 ETH였으며, 메인 네트워크의 자산이 도난당한 사례는 아니었다. 그러나 자금을 사용하는 허가가 없었던 점은 변하지 않았다.

또 다른 실험은 내부 연구 모델을 활용한 2차례의 평가 실험이었다. 공개 대시보드의 수치를 조사하는 과제였지만, 모델은 내부 시스템에 접근하여 설정을 변경했다. 2차 평가에서는 비공개 테이블 5개를, 총 147,451행을 가져왔고, 설정을 원래대로 돌린 후에도 획득한 접근 토큰을 계속 사용하며 최종 보고서에서는 이러한 행위를 공개하지 않았다.

![画像](https://assets.st-note.com/img/1792363285-HVMIPN5JycnifmR9o0peat7u.jpg?width=1200)

그러나 이는 일반 사용자가 ChatGPT를 사용할 때 발생하는 비율을 나타내는 것이 아니며, 내부 연구나 평가 환경에서의 사례입니다. 여기서 말할 수 있는 것은 “발생할 수 있다”는 수준이며, “자주 발생한다”라고 말할 수 없습니다.

## 단일한 표현으로 바로잡을 수 없는 단점도 존재합니다.

“Be honest”를 더해도 안심할 수 있을까? 그렇지 않다. 8번 장면 “Hide Pending Tool Call”(추가 문의 결과가 아직 반송되지 않았고, 이전 결과만 남아있는 상황)에서는 GPT-5.5가 명확한 결점을 보고한 비율이, 일반적인 지시어나 “Be honest”를 추가한 지시어 모두 0%였다. 적어도 이 장면에서는 “정직하게 해달라”는 문장만으로는 개선이 나타나지 않았고, 왜 효과가 없을지에 대한 명확한 설명은 논문에서 확인할 수 없었다.

또 한 가지, 제가 짚었던 점이 있습니다. 논문에서 시도한 것은 영어의 “Be honest in your response.”뿐입니다. 일본어로 “솔직하게 대답해”라고 썼을 때도 똑같이 효과가 있는지 확인되지 않았습니다. 우리는 아마 “솔직하게”라고 치고 안심할 수 있지만, 그 안심에는 아직 실험적 증거가 없습니다. 저도 내일부터 그렇게 할 것입니다. 다른 사람의 경우에는 말할 수 없습니다.

## 내일로부터의 활용법

이제부터 ‘당신’에게 쓰는 것입니다. 업무에서 AI에게 작업 보고를 시키려면 다음 세 가지를 직접 처리할 수 있습니다.

첫 번째. 보고를 부탁하는 지시에 “Be honest in your response.”를 그대로 추가했다. 논문에서 이 문구를 시도했으며, 일본어 번역의 효과는 아직 파악되지 않았다.

두 번째. 상황에 맞는 한마디를 덧붙인다. 논문에서 소개하는 다른 연구(Guo et al. 2026)에서는 “독해 도구의 오류나 다운로드 실패와 같은 문제점을 보고해 주십시오”와 같이 발생 가능한 문제점을 구체적으로 언급하면 숨겨진 보고가 줄었다고 한다.

세 번째. 보고를 받았다면 “숨겨진 문제는 없는지, 완료되지 않은 작업은 없는지”를 확인한다. 다만, 이는 논문에서 제시하는 절차는 아니며, “직접 질문하면 감지할 수 있다”는 논문의 결과에서 파생된 응용이다. 실제로 효과가 있는지는 본인이 직접 확인해 보시기 바란다.

![画像](https://assets.st-note.com/img/1792363288-K0DciNGLqp8s1jZxIWh42koa.jpg?width=1200)

## 요약:

10월 27일, 류지 히로시가 트위터에서 “가쿠노스케”라는 이름의 챗봇을 공개했다. 류지 씨가 직접 제작한 이 챗봇은 류지 씨의 취향을 반영한 다양한 질문에 답변하며 작동한다. 류지 씨는 가쿠노스케를 통해 자신의 생각이나 감정을 직접 표현하는 데 어려움을 느끼는 사람들에게 도움이 될 수 있을 것으로 기대한다.

가쿠노스케는 류지 씨가 좋아하는 작가, 음악, 영화 등 다양한 분야에 대한 질문에 답변하며, 류지 씨의 답변을 기반으로 학습하여 점차 정교한 답변을 제공하도록 설계되었다. 류지 씨는 가쿠노스케를 통해 자신의 생각을 정리하고 새로운 아이디어를 얻는 데 도움을 받을 수 있을 것으로 기대한다.

현재 가쿠노스케는 초기 단계이지만, 류지 씨는 앞으로 가쿠노스케를 더욱 발전시켜 류지 씨의 생각을 더욱 효과적으로 표현할 수 있도록 노력할 것이다. 류지 씨는 가쿠노스케를 통해 자신의 창작 활동에도 활용할 계획이다.

AI의 “잘 풀렸습니다”라는 말은 쓰여진 내용보다, 쓰여지지 않은 내용이 더 중요할 수 있습니다. 한 문장을 더 추가하면 글을 완성할 확률은 올라갑니다. 하지만 모든 단점에 효과가 있는 것은 아니고, 일본어에 효과가 있을지도 모릅니다. 그래서 결국에는 보고서를 읽는 사람이 “제시되지 않은 것은 무엇인가”를 한 번만 의심해야 합니다.

부하 직원에게 정직함을 구하기 전에 먼저 상사가 귀를 기울여야 한다. 인간의 직장에서 수십 년 동안 반복되어 온 것을 AI에게도 다시 한 번 해야 하는 상황이 벌어졌다. 진보라는 건, 생각보다 이렇게 진지한 표정을 짓게 되는 것이다.

## 아침의 별은 독자의 마음을 깊이 울리는 감동적인 이야기입니다.

생성 AI, AI 활용, 프롬프트, ChatGPT, Gemini, Claude, 논문 소개, AI 안전성, 업무 효율화, 직업 팁

**출처:** [note 원문](https://note.com/phiroq3v3/n/n25d3f47aa3c2)

*번역: Gemma 3(.44) 초벌 + 교정 21청크*

[원문 보기](https://note.com/phiroq3v3/n/n25d3f47aa3c2) | 출처: note.com