# 기업이나 개발자에게 한 가지 질문을 하고 싶습니다. AI가 틀릴 때 누가 멈추게 할까요?

> https://bookfactory.kr/board/ai-tech/16789
> 게시판: AI·머신러닝
> 작성자: admin
> 작성일: 2026-09-16T16:25:57.422Z

---

우리는 인공지능이 저지르는 실수를 두려워하는 것보다 더 무서운 것을 아직 알지 못한다. 인공지능은 실수를 저지른다. 하지만 진정으로 무서운 것은 “인공지능이 실수를 저지르는 것”이 아니다. 인간이 그 실수를 “정답”으로 받아들여 버리는 것이다. 그리고 더욱 무서운 것은――그 실수가 인간의 확인 없이 “실행”되는 미래다.

인공지능의 “거짓말”은 이제 흔치 않은 일은 아니다. 인공지능에게 존재하지 않는 책을 소개받았거나, 실재하지 않는 논문을 인용받았으며, 잘못된 날짜나 숫자를 자연스러운 문장으로 설명받기도 했다. 이러한 현상은 “환각(하르시네이션)”이라고 불린다. 이미 많은 사람들이 알고 있는 인공지능의 문제다. 실제로 최근 Note에서도 환각을 주제로 한 기사는 수없이 많이 게시되었다. 공통적으로 지적되는 것은, 틀렸음에도 불구하고 문장 자체는 매우 자연스럽고, 독자가 알아차리기 어렵다는 점이다.

하지만 여기서 이야기를 마무리해서는 안 된다. 왜냐하면 “인공지능이 거짓말을 한다”는 것보다 그 거짓말이 다음 시스템으로 전달될 때가 더 위험하기 때문이다. “잘못된 답변”이라면 아직 멈출 수 있다. 예를 들어 인공지능이 “이 정보는 정확합니다”라고 잘못된 답변을 내놓는다면, 인간이 읽고 “정말?”이라고 확인すれば 멈출 수 있다. 문제는 그 다음이다. 인공지능의 답변이 인간의 확인을 거치지 않고 그대로 다음 처리에 사용된다면 어떻게 될까? 인공지능이 만든 문장이 그대로 공개되거나, 인공지능이 만든 코드가 그대로 시스템에 들어가거나, 인공지능이 분류한 정보가 그대로 다른 판단에 사용되거나, 인공지능의 판단이 또 다른 인공지능으로 전달된다. 이렇게 되면 “인공지능이 실수를 저질렀다”라고만 말할 수 없게 된다. 실수가 하나의 답변으로 끝나지 않기 때문이다.

정말로 무서운 것은 “인공지능의 답변”이 아니다.
AI의 답변이 사회에서 어떤 것과 연결되어 있는가. 이것이 중요하다. AI가 단순히 문장을 만들어 오류를 찾아 수정할 수 있다면 문제가 없겠지만, AI → 시스템 AI →  업무 AI → 의사 결정 AI → 또 다른 AI → 자동 처리와 연결될 경우 어떻게 될까. 하나의 오류가 “답변”에서 “행동”으로 바뀌는 것이다. 바로 여기에 AI 시대의 진정한 위험이 있다. “AI니까 틀릴 수 있다”는 것은 면피 논리가 될 수 없는 기업들이 “AI에는 오답이 있습니다”라는 경고 문구를 내놓는 것이다. 물론, 그것은 필요하다. 하지만 그것만으로 충분할까. 예를 들어 “이 기능은 오답이 있을 수 있습니다”라고 적혀 있는 자동 시스템이 실제로는 인간의 확인 없이 중요한 처리를 진행한다면? 사용자에게 “최종 판단은 본인이 하십시오”라고만 적혀 있다면? 그것을 진정으로 “안전 설계”라고 부를 수 있을까. 나는 여기에 기업과 개발자들이 마주해야 할 문제가 있다고 생각한다. 개발자들에게 질문하고 싶다. AI의 성능을 “얼만큼 정확하게 답변할 수 있는가”로만 측정하고 있는가. 물론, 정확성은 중요하다. 하지만 그것만으로는 부족하다. 진정으로 테스트해봐야 할 것은 “틀렸을 때, 어떤 일이 벌어지는가”이다. AI가 틀렸다. ↓누가 알아차리는가? ↓누가 멈추는가? ↓얼만큼 영향을 미치는가? ↓원인을 추적할 수 있는가? ↓수정할 수 있는가? ↓같은 일이 다시 일어나지 않는가? 이렇게까지 생각해야 “AI를 안전하게 사용할 수 있다”고 말할 수 있지 않겠는가. “99% 정확하다”는 것이 진정으로 안전한 것일까? 99% 정확한 AI. 듣기만 잘하면 매우 뛰어난 성능을 느낄 것이다. 하지만 나머지 1%는 무엇인가. 그 1%가 단순한 오타인지. 웃어넘길 수 있는 오류인지. 아니면 인간의 판단에 영향을 미치는 오류인지.
ここは 전혀 다릅니다. 그래서 AI의 평가는 평균적인 정확성뿐만 아니라 “실패했을 때의 피해”까지 고려해야 합니다. 그리고 사용자 측에도 문제가 있는 AI를 사용하는 우리도 “AI가 말하는 것이 옳다”는 생각을 버려야 합니다. AI는 모르는 내용에도 자연스러운 문장을 반환할 수 있습니다. 게다가 문장이 깔끔하면 깔끔한 문장일수록 “정확해 보인다”고 느껴지기 때문입니다. 이것이 AI의 까다로운 점입니다. 문장의 능숙함과 정보의 정확성은 별개의 것이なのに.

AI가 현명해질수록 오히려 주의해야 할 것은 이곳은 조금 아이러니한 일입니다. AI의 성능이 올라가면 문장이 자연스러워지고 답변이 빨라지며, 이미지가 현실감 있게 되고 코드도 고차화됩니다. 그러면 인간은 AI를 더욱 신뢰하게 됩니다. 즉, AI가 현명해질수록 “의심할 필요가 없다”고 느끼기 쉬워집니다. 그래서 안전성은 “AI의 능력을 어디까지 끌어올릴 수 있는가”뿐만 아니라 “AI를 어디까지 의심할 수 있는 시스템으로 만들 수 있는가”도 고려해야 합니다.

기업에 요구하고 싶은 것은 “AI는 안전합니다”는 것이 아니라 “AI는 여기서 틀릴 수 있습니다”라고 말해달라는 것입니다. 더 나아가 “틀렸을 경우에는 멈추고, 이 판단에는 인간의 확인이 필요하며, 이 범위에서는 AI를 사용하지 않으며, 문제가 발생했을 경우에는 이렇게 추적할 수 있습니다”라고 설명해달라고 하는 것이 좋습니다. AI의 약점을 숨기는 것이 안전한 것이 아니라, 약점을 분명히 한 후에도 사고가起きにくい設計にすることが安全なのだ.

개발자에게 한 가지 질문하고 싶은 것은 AI가 100회 중 99회 정확한 것보다 100회目に間違えたとき、あなたのシステムはどう動くのか. 저는,こちらのほうが重要だと思う.
우선, “잘못하지 않는 AI”를 기다리는 대신 “실수를 하더라도 망가지지 않는 시스템”을 만들어야 한다. AI를 두려워할 필요는 없다. 하지만 AI를 맹신해야 할 필요도 없다. AI는 사회를 크게 변화시키는 것은 틀림없다. 그래서 “AI는 위험하니 사용하지 마라”거나 “AI는 편리하니 전부 맡겨라”라고 말하는 것은 피해야 한다. 필요한 것은 그 중간이다. AI를 사용하면서 AI를 의심할 수 있는 사회. 기업은 AI의 능력뿐만 아니라 한계도 설명한다. 개발자는 성공 사례뿐만 아니라 실패 사례를 테스트한다. 사용자는 AI의 답변을 “사실”과 “추측”으로 나누어 생각한다. 그리고 무엇보다, AI에 중요한 판단을 맡기는 경우에는 “실수를 했을 때 누가 멈출 것인가”를 먼저 결정해 둬야 한다. AI의 미래를 두려워할 필요는 없다. 하지만 AI가 현명해질수록, 우리가 “의심하는 능력”을 잃지 않아야 한다. AI가 틀리는 것은 이미 알려져 있다. 앞으로 정말 중요해질 것은 “AI가 틀렸을 때 인간이 그것을 막을 수 있는가?”이다. 그리고 기업과 개발자에게는 또 한 가지 질문하고 싶다. 그 AI가 틀렸을 때, 누가 멈추는 것인가?

**출처:** [note 원문](https://note.com/honda_tokurou/n/n3a3d7cc9b818)

*번역: Gemma 3(.44) 초벌 + 교정 검수*

[원문 보기](https://note.com/honda_tokurou/n/n3a3d7cc9b818) | 출처: note.com