# 구글 전 CEO가 경고하는 이해 불가능한 AI, 5년 안에 중단해야 하는 이유

> https://bookfactory.kr/board/ai-tech/18253
> 게시판: AI·머신러닝
> 작성자: admin
> 작성일: 2026-09-24T00:29:44.588Z

---

![見出し画像](https://assets.st-note.com/production/uploads/images/316519825/rectangle_large_type_2_8a6c9bafc161da975cad3e593b524e8b.png?width=1280)

회의에서 AI가 제시한 “권장” 사항을 보고 아무도 그 이유를 설명할 수 없는 상황인데, 마감일만 촉박하다.

그런 식으로 상황이 늘어나는 것을 우리는 막을 수 있을까요.

টাইমস 오브 인디아(일본어판)에 구글의 전 CEO인 에릭 슈미트 씨가 인간이 동작을 이해할 수 없을 정도로 고도화된 AI가 되면 시스템을 중단해야 한다고 경고한 내용이 보도되었습니다.

취득한 본문은 아직 중간까지만이며, 발언의 전체 맥락을 파악할 수 없습니다.

그럼에도 불구하고 이 한 문장만은 업무 현장에 상당히 가까운 질문입니다.

## 이해할 수 없는 것은 고장이 아니라 설명의 부족입니다.

AI가 틀릴 수 있다는 점 자체는 흔한 일입니다.

사람도 엑셀도 실수를 합니다.

무섭게도, 숫자가 맞게 보이는 듯하지만, 왜 그 고객을 잃었는지, 왜 그 가격을 선택했는지 아무도 되짚어낼 수 없는 상태입니다.

예를 들어 영업의 우선순위를 AI에 맡기는 경우를 가정해 보겠습니다.

이번 달 계약률이 오를 가능성이 있습니다.

그러나 담당자가 “왜 이 회사가 뒤쳐지게 된 거죠?”라고 질문해도 답변이 없었고, 계약 실패 후에야 사람들이 상황을 설명했다.

이는 자동화라기보다는 책임을 사람에게 되돌리는 시스템입니다.

![画像](https://assets.st-note.com/img/1790117883-OqFkUg6h0aXoTjtmKVyQbY5e.png?width=1200)

## 멈추는 판단은 비상 정지 버튼만이 아닙니다.

그대로 두지 마라”라는 말이 들릴 때면, 거대한 붉은 버튼을 떠올립니다.

하지만 현장에서는 전체 정지보다 작은 중단이 필요합니다.

자동 전송을 취소된 상태로 되돌립니다.

채용 후보의 순위를 재검토한다.

발주액이 일정 금액을 초과할 경우 승인을 확대한다.

이러한 설계는 편리함을 버리지 않고 검증의 여지를 남길 수 있습니다.

저 스스로도 마감 기한이 다가오면 실행 중인 스크립트의 로그를 끝까지 읽지 않고 “대충 괜찮겠지”라고 생각하게 됩니다.

다음 날 아침에 한 건만 처리 누락된 것을 발견하고, 결국에는 직접 따라가서 처리했습니다.

AI의 규모가 커져도 이 감각은 변하지 않습니다.

빠른 처리가 되려면, 중단할 위치를 미리 정해놓지 않으면 나중에 늦어집니다.

## 최근 note에서 공유되는 내용들을 보면서 속도에 대한 불안감이 확산되고 있다는 우려가 커지고 있습니다. 특히, 텍스트 기반의 플랫폼에서 정보가 빠르게 확산되는 현상에 대해, 사람들은 자신의 생각이나 의견이 제대로 검토되지 않은 채 빠르게 퍼져나가는 것에 대한 불안감을 느끼는 것으로 보입니다.

이러한 현상은 개인의 깊이 있는 사고를 저해하고, 잘못된 정보나 왜곡된 정보가 쉽게 확산될 수 있다는 점에서 우려를 낳고 있습니다. 또한, 정보의 진위 여부를 판단하는 데 어려움을 겪는 사용자들의 부담감이 가중되고 있습니다.

note 측에서는 정보의 신뢰성을 높이고, 사용자들의 비판적 사고 능력을 함양하는 방안을 모색해야 할 것입니다.

안노 기바오 씨의 “AI 연구자로서의 제 개인의 유효 기간은 앞으로 1년”——실리콘밸리에서 AGI 경쟁 또한 막바지 국면을 보이는 가운데, AI 경쟁에 참여하는 사람들의 시간 감각에 대한 논의가 이루어지고 있었습니다.

높은 반응을 얻게 된 배경에는 성능 논뿐만 아니라, 기다리는 여유가 없다는 불안감과 초조함이 있었던 것으로 보입니다.

또한, 액시스NW팀 홍보부 공식 노트의 “#76『AI에 취약성을 찾게 하면 일찍은 아니겠느냐’는 질문에 임원에게 즉답을 하지 못했던 제가, AI 보안의 전제가 바뀌는 1주일을 정리한 이야기”는 AI를 사용하는 측이 어느 정도 질문에 책임을 지는지 고민해 볼 수 있는 근거가 됩니다.

AI에 맡길 범위를 늘린다면, 그에 대한 설명을 요청하는 역할을 동시에 부여해야 할 것입니다.

## 만약 판단의 발자취가 사라졌다면

생각 실험을 해보겠습니다.

AI는 발주, 채용, 가격 설정까지 동시에 제안하고, 부서는 그대로 실행하는 회사입니다.

매출이 증가할 가능성이 있습니다.

하지만 거래처와의 관계를 정리한 이유, 지원자에게 거절당한 이유, 가격 인상에 대한 근거 또한 남아 있지 않다.

문제가 발생한 날부터 사람들이 AI 밖에서 설명을 찾기 시작했습니다.

이 세상이 지금 필요한 것은 더 똑똑한 AI가 아닙니다.

제안의 근거, 채용된 인물, 반려된 인물 및 중단된 이유를 기록하는 운영 방식입니다.

로그는 감시를 위해서뿐만 아니라, 다음에 같은 판단을 의심하는 데 참고할 메모가 됩니다.

## 중지 조건을 먼저 명시하십시오.

이해할 수 없는 AI를 두려워하기 전에, 이해하려고 노력한 흔적이 남아있는 일로 바꾸고 싶습니다.

처음 회의에서 “중단 조건은 무엇입니까?”라고 질문하는 사람이 있다면, 나중에 누군가를 비난하기 위한 회의를 하나 줄일 수 있습니다.

화면의 추천을 보며 서둘러 아침에처럼, 저는 그 한 문제를 메모지에 남깁니다.

멈추는 판단은 미래의 비상 버튼이 아닌, 오늘 확인란에서 시작됩니다.

**출처:** [note 원문](https://note.com/asuraworks/n/nc757044838a5)

*번역: Gemma 3(.44) 초벌 + 교정 20청크*

[원문 보기](https://note.com/asuraworks/n/nc757044838a5) | 출처: note.com