# 과학을 믿지 마라, 과학을 사용하라 — '수학 대명신'부터 'AI 대명신'까지

> https://bookfactory.kr/board/ai-tech/18130
> 게시판: AI·머신러닝
> 작성자: admin
> 작성일: 2026-09-22T20:32:33.909Z

---

![見出し画像](https://assets.st-note.com/production/uploads/images/316201649/rectangle_large_type_2_8f06ed06d15c216d436e4b01de5a77d6.png?width=1280)

프랑스 TV를 보고 있었는데, 미국의 AI 개발 기업에서 일하는 연구자가 꽤 섬뜩한 말을 하고 있었다.

AI가 향후 10년 정도 안에 인류를 멸망시킬 가능성을 10% 이상으로 보고 있다는 것이다.

또한, AI를 인간으로부터 격리하여 이른바 '가두어야' 할 필요가 있다는 취지의 이야기도 했다.

나는 그 이야기를 들으면서, 어쩐지 마음에 걸렸다.

AI로 인한 중대한 사고나 악용의 위험이 없다고 생각하는 것은 아니다.

오히려 위험은 있을 것이다.

이토록 강력한 기술이니, 아무 일도 일어나지 않는다고 생각하는 편이 오히려 부자연스럽다.

그럼에도 “10년 이내에 10% 이상의 확률로 인류가 멸망한다”고 들으면, 나는 우선 이렇게 생각하게 된다.

그 10%는 어떻게 나온 것일까.

## 10%라는 숫자는 어디에서 왔을까

AI가 고도화된다.

더 나아가 스스로 개선할 수 있게 된다.

인간의 통제를 넘어선다.

인간과 이해관계가 대립한다.

인간이 그것을 멈출 수 없게 된다.

다른 AI도 안전장치도 소용없다.

각국 정부도 기업도 효과적인 대응을 할 수 없다.

그리고 마침내 인류가 멸종한다.

“AI로 인한 인류 멸망”까지는 이처럼 긴 인과관계가 있다.

물론, 각각이 절대 일어나지 않는다고는 말할 수 없다.

그러나 각각의 화살표에는 불확실성이 있다.

그런데도 마지막에 갑자기,

「10％」

이라는 묘할 정도로 구체적인 숫자가 나타난다.

그러자 숫자에는 신비한 힘이 있다.

“꽤 위험하다고 생각합니다”라는 말보다 “10%입니다”라는 말을 들으면, 왠지 정밀한 계산이 이루어진 것처럼 느껴진다.

그래서 예전에 읽은 모리 쓰요시의 글이 떠올랐다.

## “수학의 신”

나는 재수생 시절, 수학자 모리 다케시의 글을 자주 읽었다.

소논문 과제에도 사용되고 있었다.

재미있는 사람이었다.

수학자이면서도 수학을 귀하게 여기지 않는다.

물론 수학을 경시하는 것은 아니다. 일류 수학자이기에 수학의 힘을 잘 알고 있다.

그래서 수학을 끌어들이기만 하면 무엇이든 옳은 것이 되는 양 하는 태도를 비꼬았다.

그 표현 중 하나가,

“수학의 신”

였다.

숫자가 나왔다.

수식이 사용되었다.

컴퓨터가 계산했다.

그러니까 옳다.

그렇게 수학을 '사용'하는 것이 아니라, 수학을 신주단지 모시듯 숭배해 버린다.

이것은 수학적인 태도일까.

오히려 반대일 것이다.

수학을 사용한다면, 그 숫자가 어떻게 만들어졌는지를 보아야 하는 것이다.

## 과학자를 믿는다는 비과학

같은 일은 과학자에게도 일어난다.

“세계적인 과학자가 경고했다”

“노벨상 수상자가 이렇게 말했다”

AI를 개발하고 있는 연구자 스스로가 위험하다고 말하고 있다

그렇게 들으면, 그 발언마저 '과학적으로 옳은' 것처럼 느껴진다.

하지만, 이건 이상하다.

과학자는 자신이 연구해 온 전문 영역에 대해 뛰어난 지식을 가진 사람이다.

만능의 현인이 아니다.

뛰어난 물리학자라고 해서 경제 정책이나 외교, 사회 제도에도 뛰어나다고 할 수는 없다.

AI 연구자라고 해서 10년 후의 기업 행동, 국가 간 경쟁, 규제, 안전 기술, 사회 제도, 인간의 대응까지 정확히 예측할 수 있는 것은 아니다.

당연한 일이다.

과학자도 인간이니까.

그런데 우리는 때때로 이 당연한 것을 잊는다.

전문지식에 대한 신뢰를 그 인물 자체에 대한 신앙으로 바꿔 버린다.

이 사람은 머리가 엄청나게 좋다

부터,

이 사람이 하는 말은 옳다

로 날아가 버린다.

과학을 존중하고 있다는 생각으로, 어느새 과학자를 신탁자로 만들어 버리는 것이다.

## 과학 지식과 과학적 태도는 같지 않다

이 문제를 생각하면, 나는 옴진리교도 떠올린다.

그 집단에는 고도의 과학기술 교육을 받은 사람이 여러 명 있었다.

과학을 몰랐던 것은 아니다.

그럼에도 불구하고 그들은 놀라울 정도로 조잡한 교리를 받아들이고 말았다.

더욱 무서운 것은 그것이 주변 신자들에게 신앙을 강화하는 계기가 될 수도 있었다는 점이다.

그토록 뛰어난 과학자와 기술자가 믿고 있다

과학을 이해하는 사람들이 믿고 있다.

그렇다면, 이 가르침에는 정말로 무언가가 있는 것이 아닐까

이렇게 과학자·기술자의 존재 자체가 권위가 된다.

하지만 과학 지식을 가지고 있는 것과 모든 상황에서 과학적으로 판단할 수 있는 것은 같지 않다.

오히려 지식이 있는 사람일수록, 일단 무언가를 믿어버리면 그 지식을 이용해 교묘하게 자신의 신념을 합리화하기까지 한다.

과학은 인간을 인간이 아니게 만드는 마법이 아니다.

## 과학은 “만능의 현자”를 필요로 하지 않게 되었기 때문에 강해졌다

오히려 과학이 이만큼 발전한 이유는 그 반대가 아닐까 생각한다.

과학은 한 명의 만능 천재가 모든 것을 이해하기를 기대하는 것을 그만두었다.

전문 분야를 세분화했다.

한 연구자는 좁은 분야를 깊이 파고든다.

다른 연구자가 다른 영역을 파고든다.

논문을 쓴다.

비판한다.

재시험을 본다.

다른 결과가 나오면, 그 이유를 조사한다.

그렇게 불완전한 인간들끼리의 지식을 연결해 왔다.

즉, 과학의 강점이란,

“틀리지 않는 인간을 만든 것”이 아니라, “인간은 틀린다는 전제하에 지식을 만들어내는 체계를 발전시킨 것”

것이 아닐까.

그렇게 생각하면 AI에 대해서도 같은 일을 할 수 있을 것이다.

## AI를 가두는 것보다, MAGI를 만들면 어떨까

“강력한 AI는 위험하니까 가두어야 한다”

그 생각 자체를 부정할 생각은 없다.

격리도 권한 제한도 안전책으로서 필요할 것이다.

하지만, 그것뿐일까?

나는 『신세기 에반게리온』에 등장한 MAGI를 떠올린다.

세 대의 컴퓨터가 서로 다른 판단을 내린다.

중요한 것은, 세 개가 있으니 다수결로 하면 안전하다는 것이 아니다.

단 하나만 다른 판단을 내렸다면,

“왜, 이 녀석만 다른 답을 냈을까”

를 보는 것에 의미가 있다.

현실의 AI로도 같은 일을 할 수 있지 않을까.

어떤 AI가 행동을 제안한다.

다른 AI가 그 추론을 검증한다.

게다가 별도 계통의 AI가 양쪽이 놓친 위험을 찾는다.

의견이 갈리면 인간에게 넘긴다.

중대한 조작에는 별도 계통의 승인을 요구한다.

물리적인 안전장치도 설치한다.

물론, 그래도 틀릴 것이다.

세 개의 AI가 같은 실수를 하는 경우도 있다.

그렇다면, 다른 설계, 다른 학습 방법, 다른 개발 주체의 AI를 사용하면 된다.

그래도 안 되면, 추가로 안전책을 생각한다.

인류는 줄곧 그렇게 해왔다.

## 판도라의 상자는 이미 열려 있다

애초에 AI에 대해서는 또 하나의 현실이 있다.

판도라의 상자는 열려 버렸다.

현재 AI를 만드는 지식은 전 세계에 퍼져 있다.

기업도 연구자도 국가도 존재한다.

이제 와서 인류 전체를 AI 이전으로 되돌릴 수는 없다.

그렇다면 현실적인 질문은,

AI를 만들었어야 했을까

뿐만이 아니다.

“AI가 존재하는 세계를 어떻게 안전하게 설계할 것인가”

이다.

자동차도 항공기도 전력도 화학공업도 컴퓨터도, 인류는 위험을 완전히 없앤 뒤에 사용하기 시작한 것이 아니다.

사고를 일으켰다.

실패했다.

원인을 조사했다.

규칙을 만들었다.

안전장치를 추가했다.

그리고 또 실패했다.

그렇게 조금씩, 위험한 기술과 함께 살아가는 방법을 만들어왔다.

AI만이 예외인 이유는 없다.

물론, AI는 기존 기술과는 다르다고 말하는 사람도 있을 것이다.

그렇다면,

なぜ今回は人類の学習が間に合わないのか。

그 부분을 설명해 주세요.

## AI만 진보하고, 인류는 10년간 잠들어 있는 것인가

“10년 이내에 인류 멸망 확률이 10%”라는 예측에서 또 하나 신경 쓰이는 것이 바로 이 점이다.

그 10년간 AI만이 발전할 것인가.

AI가 스스로 개선할수록 고도화되는 반면, 안전 기술은 2026년 수준에 그대로 머물러 있는 것일까.

AI를 감사하는 AI는 발전하지 않는가?

위험한 행동을 감지하는 AI는 만들 수 없는가.

제도는 바뀌지 않는가.

기업은 학습하지 않는가.

정부는 움직이지 않는 것인가.

사고로부터 인간은 아무것도 배우지 않는가.

공격 측의 AI만 맹렬한 속도로 발전하고, 방어 측인 인간은 현재의 능력 그대로 제자리에 멈춰 서 있다.

만약 그런 전제로 계산하고 있다면, 미래 예측으로서는 상당히 이상하다.

위험이 진화한다면, 안전 기술도 진화한다.

인간도 학습한다.

그리고 무엇보다도, AI 자체를 안전을 위해 사용할 수 있다.

미래는,

AI 대 인류

한 편의 이야기가 될 필요는 없다.

인간 + 다수의 AI + 제도 + 안전장치 대 사고·악용·폭주

라는 시스템으로 만들 수도 있다.

## MAGI 대명신을 만들어서는 안 된다

다만, 여기에도 함정이 있다.

MAGI를 만든다고 해서 안심되는 것은 아니다.

세 개의 AI가 “찬성, 찬성, 반대”라고 답했다.

그러니까 다수결로 하면 된다.

이것만으로는 새로운 신체를 만들었을 뿐이다.

“MAGI 대명신”이 되어 버린다.

중요한 것은,

왜 하나에만 '아니오'라고 답했는지를 인간이 이해하려고 하는 것이다.

연구자에 대해서도 마찬가지이다.

한 연구자는 10%라고 말한다.

다른 연구자는 1%라고 말한다.

또 다른 연구자는 30%라고 말한다.

그래서,

가장 위대한 연구자는 누구인가

라고 생각하는 것은 아니다.

왜 숫자가 다른지 살펴본다.

어떤 전제가 다른 것인가.

어떤 데이터를 중시하고 있는가.

어디까지를 전문 지식으로 말하고, 어디부터를 개인적 판단으로 말하고 있는가.

그 ‘차이’야말로 정보인 것이다.

## 과학을 믿지 말고, 과학을 사용하라

재수생이던 시절, 나는 모리 다케시의 글을 재미있게 읽었다.

그때부터 꽤 오랜 시간이 흘렀다.

당시에는 AI 같은 것은 아직 먼 미래의 이야기였다.

그래도 “수학대명신”이라는 말은 지금도 쓸 수 있다.

오히려 AI 시대가 되면서 점점 더 중요해진 것 같다.

수학을 믿지 마라.

과학자를 믿지 마라.

AI를 믿지 마라.

이것은 반과학이 아니다.

정반대이다.

숫자가 나오면, 그 숫자가 어떻게 만들어졌는지를 본다.

과학자가 말했다면, 그 사람의 전문 분야와 근거를 살펴본다.

AI가 답하면, 왜 그런 답이 나왔는지 검토한다.

여러 답이 갈리면, 그 차이를 조사한다.

인간은 실수한다.

과학자도 틀린다.

AI도 틀린다.

그렇기 때문에, 한 명의 현자에게도, 한 대의 슈퍼 AI에게도 판단을 통째로 맡기지 않는다.

서로의 실수를 발견할 수 있는 구조를 만든다.

생각해 보면, 그것이야말로 인류가 과학을 통해 수백 년에 걸쳐 익혀 온 지혜일 것이다.

과학을 믿지 마라. 과학을 사용하라.

그리고 AI에 대해서도 아마 마찬가지일 것이다.

**출처:** [note 원문](https://note.com/yoneden/n/ncc1e22c6c2ef)

*번역: Gemma 3(.44) 초벌 + 교정 61청크*

[원문 보기](https://note.com/yoneden/n/ncc1e22c6c2ef) | 출처: note.com