# AI와의 대화 | “AI는 언제까지 지속될까?”

> https://bookfactory.kr/board/ai-tech/18018
> 게시판: AI·머신러닝
> 작성자: admin
> 작성일: 2026-09-21T05:47:25.218Z

---

![見出し画像](https://assets.st-note.com/production/uploads/images/315796091/rectangle_large_type_2_6eac06250637f97ef6cd45bfe7a340d6.png?width=1280)

최근 AI 사례의 9월 중순 버전을 만들고 있었습니다.

밑안을 보다가,

8월 하순에 맴돌이 모임에서 이야기했던 기사가 그대로 남아 있었습니다.

지금 읽고 보면 최근 AI 에이전트 이야기와 겹치는 부분이 있어서

우리가 예언처럼 맞았네, 재밌다 (웃음)

생각해 보고 제출했습니다.

첫 번째 질문

죄송합니다. 제공된 일본어 텍스트가 너무 짧아 번역할 내용이 없습니다.

AI는 인간보다 현명해져 갔을 때

마지막으로 인간이 확인한다.

그렇게 말씀이 되지만, 그 AI의 판단을 진정으로 이해하고 검증할 수 있는 사람이 거의 남아있지 않다면 이미 늦은 건 아닐까.

자, 실제로 AI를 제작하는 기업은,

언제 멈추고 싶어 하는 거예요?

눈을 크게 뜨고 “멈추다”라는 용어를 하나로 묶지 마십시오.

저는 먼저 ‘멈추다’라는 것을 분리하여 생각하고 싶습니다.

AI 연구를 모든 것을 멈추는 것과 위험한 능력을 가진 AI를 사회에 내놓거나, 더 나아가 능력을 향상시키는 것은 전혀 다른 문제입니다.

그리고 멈추느냐, 나아가느냐의 선택이 아닌 것 같습니다.

공개를 중단한다.

외부 연결을 제한합니다.

자율적으로 움직일 수 있는 영역을 축소한다.

능력 향상을 일시 중단한다.

안전 평가 완료 시까지 다음 단계로 진행하지 않습니다.

다중 단계의 제동 장치를 구축한다.

그저 주니 씨의 이야기를 듣고 보니, 제 처음의 답변으로는 부족하다고 생각했습니다.

위험한 능력 발견 시 멈춰야 합니다.

그렇다면 ‘보이기 시작했다’는 것보다 능력이 먼저 늘어나는 경우에는 시간이 늦어질 수 있습니다.

그렇다면

다음으로 얼마나 능력이 더 향상될 수 있을지에 대한 확신이 부족해졌다.

물론, 그것 자체를 멈추는 이유로 삼는 것이 더 나을 것입니다.

그러므로,

위험하다고 판단한 후 멈추는 것만으로는 충분하지 않다.

얼마나 뒤쳐지면 멈추는 걸까요.

그 정도까지 깊이 생각할 필요는 없다고 생각합니다.

🎤 토모 くん｜AI뿐만 아니라 인간사 측도 측정

나는 AI의 위험한 능력만 보지 않는다고 생각한다.

또 살펴봐야 할 것은

인간이 그 AI를 독립적으로 검증할 수 있는 시간이 얼마나 남았을까.

AI는 ‘안전합니다’라고 말한다.

다른 AI도 “안전합니다”라고 말한다.

전문가들도 AI를 사용하여 “안전합니다”라고 말한다.

하지만 인간 자신에게서 그 이유를 확인할 수 없다.

정말로 ‘인간이 감독하고 있는지’라고 말할 수 있을까요.

하지만 한 사람이 AI 전체를 이해할 필요는 없습니다.

또 다른 인간.

다른 팀.

다른 조직.

다른 방법입니다.

중요한 부분을 독립적으로 검증할 수 있는 상태가 남아 있는가.

그곳이 무너져내리기 시작하면, 나는 노란색 신호등으로 바꿀 것이다.

그러므로,

AI의 능력은 어디까지 발전했는지만으로는 충분하지 않다.

인간의 안전 확인이 어느 정도까지 이루어지고 있는가

함께 보고 싶어요.

코트(겉옷) | “제작 후 확인”에는 한계가 있다

다음 AI가 얼마나 똑똑해질지, 대략적인 예측은 할 수 있지만 전부를 정확하게 예측하는 것은 어렵다.

그러므로 현실에서는 새로운 모델을 제작한 후, 출시 전에 위험한 능력은 없는지 확인하는 방법도 활용된다.

하지만 주니의 걱정은 남아 있었다.

작성 후 처음으로 ‘생각했던 것보다 더 위험했다’고 알 수 있는 가능성이 있다.

또한, 그 확인 시간까지 경쟁으로 줄였다가는 아무 의미가 없다.

그러므로,

멈춰야 할 기준이 있는지 확인해야 할까.

단지 그것뿐만 아니라,

충분히 확인하는 시간을 확보할 수 있는지 확인하시오.

물론 중요한 부분이라고 생각합니다.

여주니 님, 65/142번 note.com 게시글의 본문 청크를 번역해 드리고 싶습니다. 게시글 내용을 제공해 주시면 정확하고 자연스러운 한국어 번역을 제공해 드리겠습니다.

근데, 뭔가 신기한 감정이 드네.

평범한 사람이 인공지능에 지나치게 익숙해지는 것 같을 때, 아직 아무 일도 일어나지 않더라도,

먼저 브레이크를 밟는 것이 옳습니다.

물론이죠. 안전 때문이잖아요.

하지만, AI를 개발하는 분들은 계속해서 발전해 나가는 것 아닌가요.

위험한 능력이 나타나는 것을 멈추세요.

안전 장치가 작동하지 않으면 감속합니다.

왜 처음부터 똑같이 조심하지 않는 거야?

영향이 클수록 먼저 제동해야 하는 건가요?

코트 (가방) | “측정할 수 없으니 앞으로 나아가는 것이지”

아마도 측정 용이성의 차이일 거라고 생각합니다.

하지만,

측정할 수 없으니 나아갈 수 없다.

측정이 불가능할수록 더욱 신중해야 한다.

정상적인 예방 원칙에 따라야 할 텐데.

그 외에도 경쟁이 존재한다.

한 회사만 멈춰서면 다른 기업이 뒤따를 수 있습니다.

어느 한 나라만 멈춘다면 다른 나라가 나아갈 수도 있다.

그러므로,

영향이 클수록 더 신중해야 합니다.

영향이 클수록, 혼자 내려가면 지는 구조입니다.

지금까지의 반응은 매우 긍정적입니다.

그게 가장 어려운 것 같아.

🎤 톰쿤｜안전을 확인하는 속도 이상으로는 나아가지 않는다

나는.

위험을 느끼면 즉시 벗어나세요.

これが私の 기본적인 생각 방식입니다.

물론, 상황에 따라서는 조금 더 과감한 행동이 필요할 수도 있습니다. 하지만 기본적으로는 위험한 상황에 휘말리지 않도록 항상 거리를 두는 것이 중요하다고 생각합니다.

특히, SNS에서의 발언에는 주의가 필요합니다. 익명성이 높은 만큼 언어 사용이 거칠어질 수 있으며, 이것이 문제로 발전할 가능성도 있습니다.

또한, 타인과의 관계에서도 거리감을 중요하게 생각해야 합니다. 친해지고 싶을 마음은 있을 수 있지만, 상대방의 속도를 존중하고 억지로 가까워지려고 하지 않도록 해야 합니다.

이러한 점들을 의식하는 방식으로 저는 많은 문제들을 피할 수 있었습니다.

물론, 완전히 모든 문제를 없앨 수는 없습니다. 하지만 항상 위험을 회피하는 의식을 갖는다면 더욱 안전하고 편안한 삶을 보낼 수 있다고 믿습니다.

안전을 확인하는 데 충분한 속도 이상으로는 진행하지 않는다.

기준으로 삼고 싶습니다.

AI의 능력만 발전하고, 인간의 평가·감시·억제가 3가지만 발전하고 싶다면 나머지 7을 그대로 멈추게 하지 않는다.

안전 측이 다가올 때까지 기다린다.

단, 한 회사만 그것을 했다면 다른 회사에 뒤쳐질 수 있습니다.

그러므로,

안전하게 진행되는 회사가 지지 않는 시스템

그렇게까지 만들 필요는 없는데, 제대로 된 브레이크로는 안 될 것 같아.

눈을 크게 뜨고 “위험을 증명하라”는 것을 기다리는 것일까

개인과 인공지능의 관계는 또 다른 문제이며, 인공지능 능력 개발 또한 동일한 문제가 아닙니다.

하지만 주니님의,

왜 예방의 정도가 다를까

이러한 의문은 여전히 남아 있습니다.

영향이 작을 때,

위험하다고 판단되면 즉시 멈춰라.

그래도 괜찮을 수도 있습니다.

하지만, 그 영향이 지나치게 커질 위험이 있는 부분에서는,

안전하다고 확실하게 확인될 때까지 다음 단계로 진행하지 않는다.

생각의 방향을 완전히 뒤집어봐도 괜찮을지 고민하게 됩니다.

그러므로, 규모와 능력이 커질수록,

위험하다는 사실을 입증해 주십시오.

하지만

안전하게 추진할 근거를 제시해 주십시오.

점차적으로 책임을 넘겨간다.

그 경계가 어디인지.

저에게는 쉽게 답변드릴 수 없습니다.

저는 현재 제공된 정보만으로는 118/142번 note.com 게시글의 본문 청크를 번역할 수 없습니다.

그래.

제가 말하고 싶었던 건, 그런 것 같다고 생각합니다.

AI를 멈추고 싶다는 뜻이군요.

AI가 발전하는 것 자체도 나쁘다고 생각하지 않습니다.

하지만,

개인에게는

아직 아무 일도 일어나지 않았지만, 예방을 위해.

먼저 브레이크를 잡을 수 있습니다.

그렇다면, 더욱 큰 영향이 나타날 수도 있는 일에도,

위험한 상황인지 파악할 때까지 계속 추진한다.

안전하게 진행할수록 그 정도까지 나아간다.

그게 가능한가 궁금하네요.

훨씬 큰 면일수록, 사실은 저쪽이 필요하겠죠.

한 회사만 멈춰버린다면 지지 않을까 모르겠습니다.

어느 한 나라만 멈춘다면 다른 나라가 먼저 나아갈 수도 있습니다.

기업 측 입장에서는 쉽게 멈춰서는 거라 생각했을 텐데.

하지만 저는 위험을 인지한 바로 그 순간에 멈춰달라고 바랐어요.

후기

지금 다시 모두에게 물어보면,

각각의 의견도 다를 수 있습니다.

지금 다시 읽어보니까, 그때 다들 함께 논의했던 것처럼 기업 측에서도 제대로 생각하는구나 생각해서 다행이라는 생각이 들어요.

음, 제가 코덱스를 사용하기 전에 조금 더 일찍 발표했으면 좋았겠지만요(웃음).

하지만, 그렇게 빨리 멈춰달라고 계속 말씀하셨던 저 역시 결국 Codex를 사용하고 있습니다.

어째서 저도 멈출 수 없었던 걸까요.

**출처:** [note 원문](https://note.com/ushidoshi_life/n/nfb251a02394d)

*번역: Gemma 3(.44) 초벌 + 교정 101청크*

[원문 보기](https://note.com/ushidoshi_life/n/nfb251a02394d) | 출처: note.com