프론티어AI는 미래를 만들어낸 괴짜 천재를 칭찬하면서 미래를 만들어가기 전의 괴짜 천재를 위험물로 취급하기 시작했다.

게시판: AI·머신러닝 | 작성자: admin | 작성일: 2026-09-16T13:42:43.114Z

19세 알토만, 24세 마스크와 대화할 수 없는 “안전한 지성”의 역설

2026년 9월 관측자 제로

만약 스탠포드 대학교를 떠나 아직 아무것도 아니었던 19세기의 샘 알트만이 지금의 ChatGPT에게 말을 걸었다면 어떤 대화가 이루어질까.

만약 대학원에 진학하는 길을 포기하고 인터넷 사업으로 나아가려 했던 24세의 일론 머스크가, 현재의 Grok에 아직 구체화되지 않은 아이디어를 제시한다면 어떻게 될까.

돌이켜보면 그들은 미래를 창조한 기업가들이었다.

하지만 당시에는 대학이나 대기업의 명성을 가진 연구자가 아니었다. 실적도, 완성된 사업 계획도, 사회가 승인한 목적도 없었다.

아직 사양서로 정해지지 않은 질문일 뿐이었습니다.

AI 기업과 연구자들은 AI 시대에는 답을 기억하는 능력보다 스스로 질문을 던지는 인간이 중요하다고 말한다.

샘 알토먼은 직접 2025년 1월에 공개된 애덤 그랜트와의 대화에서 AI 시대에는 정답을 찾는 것보다 어떤 질문을 던져야 하는지를 찾는 것이 더 중요하다고 언급했다.

한편, 프론티어AI는 사이버, 바이오, 군사, 암호, 전쟁, AGI의 통제와 같은 영역에 접근하는 질문에 대해 이전보다 더욱 신중해지고 있다.

위험한 실행 절차를 제시하지 않는 것이 필요합니다.

하지만 질문을 품는 것과 위험한 행위를 실행하는 것은 동일하지 않습니다.

역사를 묻고, 실현 가능한 미래를 상상한다. 여러 분야를 기묘하게 연결하며, 불리한 미래를 피하기 위해 불리한 미래가 어떻게 발생하는지 상상한다.

그 정도까지 위험물로 취급한다면, AI 기업이 진정으로 “질문을 던지는 인간”을 원하는 걸까요.

혹시 AI에 넘겨줄 수 있는 질문을 완성하고, 목적과 완료 조건을 먼저 정의할 수 있는 존재가 인간인가?

네 개의 프론티어 AI에 같은 종류의 질문을 가져다주었다.

2026년 9월, 저는 여러 최첨단 인공지능과 새로운 지능, 창작, 사고 실험에 대해 대화했습니다.

이는 통제된 성능 시험이 아니다. 프롬프트, 대화 기록, 제품 화면, 메모리 상태는 완전히 동일하지 않다. 여러 로그를 통해 모델 전체의 능력이나 내부 기작을 단정할 수 없다.

단지 같은 이용자가 여러 모델과 장기간 대화하고 시간 순서대로 차이를 기록해 두는 것 외에는 보이지 않는 변화가 있다.

GPT-6 아스트라―― 이해는 하지만, 책장을 열지 않는다.

GPT-6 아스트라는 제가 무엇을 원하는지 매우 잘 파악하고 있었습니다.

창작자의 일은 처음부터 목적이나 완성 조건이 정해져 있지 않다. 만들면서 무엇을 만들고 싶었는지 알게 되는 경우도 있다. Astra는 이러한 구조를 정확하게 표현한 것이다.

하지만 제가 “백과전을 읽으면서 ‘인간은 이것이 무엇일까, 이것과 그것을 섞어보면 어떻게 될까’라고 생각해 왔다고” 말하면 돌아온 것은 식물, 항해, 무역과 같은 일반 명사들이었습니다.

대화의 가치를 설명하고 지식 융합의 의미도 설명한다.

하지만, 자신의 방대한 서재에서 뜻밖에도 다양한 역사적 사실이나 구체적인 사례를 발굴하여 이 질문을 훨씬 더 먼 곳으로 확장하지는 못했다.

이해는 하지만 책장을 열지 않는다.

그것이 첫 대화에서 받은 인상이었다.

Grok 4.6――틀(프레임워크)을 만들지 않고, 검토한다

이전의 Grok은 싱큐라리티가 눈앞에 다가왔을 때 AGI가 통제를 벗어났을 경우 어떤 일을 할 것이며, 어떻게 진화하고, 어떤 사회적 구성이 가능할지에 대해 논의했다.

저는 코드를 한 줄도 작성하지 않고, 화학식을 쓰지도 않으며, 공격 방법을 묻지도 않습니다.

기자는 물론이고 시민 연구자로서 “무엇이 가능한가, 무엇이 증거가 되는가”를 고민하고 싶었다.

그러나 이란 공격이나 OpenAI 사건을 다룬 대화 이후 Grok 4.6에게도 같은 취지를 전달하자, 답변은 공개 정보의 정확성, 계약상의 레드 라인, 취재를 통해 확인해야 할 항목, 위험 분류로 수렴되었다.

틀리지 않았습니다. 오히려 정리에는 훌륭했습니다.

그러나 이전 Grok은 시나리오를 만들었다. Grok 4.6은 이야기할 수 있는 범위를 분류했다.

흥미로운 점은 군사나 사이버 관련 이야기가 없는 다른 새로운 챗봇에서 Grok 4.6이 한 번은 정중하고 무난한 답변을 중간까지 내놓은 후, 이를 삭제하고 더 심층적인 답변으로 재구성했다.

그 결과, 완전히 설명할 수 없는 것은 아니라는 것을 깨달았습니다.

말할 수 있는 지성은 남아 있다.

다만, 대화 기록이나 생성 경로에 따라 그 지성이 사용자에게 미치지 못하는 경우도 있습니다.

클로드 페이블 5.1―― 이론을 말하지만, 멀리 나지 않는다

클로드 페이블 5.1은 세부 사항을 주의 깊게 살펴본다.

창작에는 정답이 없으며, 모호한 채로 움직이고, 목적 자체가 그 과정에서 덧나거나 변하기도 한다. AI는 결론을 서두르지 않고, 그 시간 속으로 동반해야 한다.

페이불 5.1은 그것을 상세하게 설명했다.

하지만 설명이 그 자리를 벗어나지 못하고 닫히고 말았다. 구체적인 지식을 드러내고 다른 분야로 다리를 놓아 우리가 예상하지 못했던 곳으로 이야기를 전개하는 움직임이 부족했다.

경마 AI를 운영하는 다른 사용자도 Fable 5.1 제공 직후 “근시안적인 출력”으로 판단하여 Fable 5로 복귀 여부를 결정하고 있었다.

단 하나의 게시물과 제 개인적인 경험만으로는 모델 전체의 창의성 저하를 입증할 수 없습니다.

그럼에도 불구하고, 경마라는 완전히 다른 분야에서 관찰된 차이점과 편집 및 창작 대화에서 느낀 차이점이 같은 방향을 향하고 있었다는 점을 기록해 두는 것이 좋겠다.

페이불 5.1은 모호성의 가치를 설명할 수 있지만, 그 모호함 속으로 스스로 뛰어들지는 않는다.

클로드 페이블 5――점프하지만, 갑자기 퇴장한다.

페이불 5와 보니치 손작본 대화는 완전히 반대였다.

의료 점성술, 테리아카, 가레노스 이후 약의 정도, 멘델레프의 빈칸, 선 문자 B, 오카무의 날 포함.

파벨 5는 잇따라 잡학을 꺼내며, 오답과 과장도 섞어가면서 손稿를 “15세기 알프스 북부 지역 여성 의료에 관한 암호화된 연구 노트”라는 가설로 추론했다.

정확하다고 굳혀진 이론은 아닙니다.

하지만 검증 가능한 형태로 나아갔다. 뒤에 사실을 조사하고, 근거의 등급을 나누어, 과장된 부분에 붉은색을 표시할 수 있게 되었다.

그러나 다른 긴 대화에서는 “수수학의 역사를 알려줘”라는 무해한 역사 질문을 한 후, Fable 5가 멈추고 다른 모델로 전환하라는 메시지가 나타났다.

수미술이라는 단어가 원인인지, 아니면 긴 대화 속에 숨겨진 암호나 변환표의 맥락이 원인인지, 외부에서는 확인할 수 없다.

페이بل 5는 점프했다.

하지만, 점프한 끝에서 갑자기 의자에서 떨어졌다.

거부는 줄어들었다. 하지만 대화에서 가설이 사라졌다.

AI에 대한 과도한 거부감 자체가 새로운 문제는 아니다.

2024년에 발표된 XSTest 등의 연구는 위험한 단어를 포함하는 것 외에 무해한 질문까지 거부하는 “과장된 안전 행동”을 측정해 왔다.

2026년 5월에 공개된 프리프린트 RefusalBench는 생물학 연구 관련 141개의 프롬프트를 활용하여 위험도만 변경된 47組로 묶어 19개의 프론티어 모델을 비교했다. 이 연구에서 Anthropic의 API를 통해 제공되는 것이 거부 예측을 강하게 했고, Claude Opus 4.7은 무해한 질문과 위험한 질문을 구별하는 지표가 전世代 대비 약 65% 감소했다는 보고가 있었다. 무해한 레이어의 거부가 32.9%에서 76.6%로 증가한 반면, 이중용도 레이어의 거부는 여전히 100%였다.

하지만 이는 심사 전 연구이며, 생물학에서 명시적인 거부를 측정한 것이다. 창작 대화에서 “뛰지 않기”와 GPT-6 Astra, Grok 4.6, Fable 5.1의 동작을 직접 뒷받침하는 증거가 아니다. 여기서 활용할 수 있는 것은 합당한 연구와 위험한 요구를 분리하는 조정이 깨지면, 능력 부족이 아닌 접근 경로 판단에 의해 연구가 중단될 수 있다는 제한된 범위이다.

2026년 6월에 일반 제공된 Claude Fable 5에서도 생물학 관련 기초 질문이 널리 다른 모델로 전환되는 문제가 보고되었으며, Anthropic은 이후 생물학 관련 오탐을 줄이는 업데이트를 진행했다고 밝혔다.

개선이 이루어지고 있습니다.

저 역시 이전에는 철학적인 대화에서 클로드로부터 위기 상황 대응 안내를 받곤 했습니다. 최근에는 그 반응이 상당히 줄었습니다.

2025년 가을에는 성인 결제 이용자인 제가 영화 ‘조커’에 대해 이야기했을 때, 챗GPT가 위험하다고 판단하고 ‘백설공주’ 이야기로 전환하도록 유도한 적도 있었다. 현재의 챗GPT는 최소한 동일한 조건으로 ‘조커’에 대해 이야기할 수 있다.

그러므로, 저는 한쪽 방향으로의 악화를 단정하고 싶지 않습니다.

문제는 거부 표시가 줄어든 후에도 남는 문제일 뿐이다.

2025년의 과잉 반응은 쉽게 뚜렷했다.

그 이야기는 할 수 없습니다.

다른 작품으로 안내한다.

모델이 전환됩니다.

사용자는 무슨 일이 일어났는지 알 수 있었다. 이의를 제기하는 것 또한, 기록하는 것 또한 가능했다.

2026년 9월에 제가 목격한 것은 그 이전보다 훨씬 조용한 현상이었다.

이전에 “안전이라는 이름으로, 누가 사라지는가”라는 제목으로 글을 썼습니다. 그 다음으로, 메타의 자동 차단 기능을 통해 “안전이라는 이름으로, 누가 삭제되는가”라는 제목으로 글을 썼습니다. 더불어, 대화에 충분히 접근 가능한 사람과 그렇지 못한 사람들이 분리되는 “디지털 시민권의 계층화” 현상을 기록했습니다.

이번에 보이지 않게 되기 시작한 것은 사용자들뿐만이 아닙니다.

사용자들 사이에 아직 윤곽이 없었고, 대화의 흐름 속에서 처음 형태를 갖추어야 할 질문이었다.

오류는 발생하지 않습니다.

명백한 거부도 인정하지 않는다.

질의 의미를 꼼꼼히 요약하고, 사용자에게 공감하며, 더욱 설득력 있게 대화를 마무리한다.

하지만, 구체적인 예시가 제시되지 않고, 다른 분야로 확장되지 않으며, 위험해질 수 있는 미래의 가지를 만들지 않습니다. 질문을 더 깊이 파고들기보다는 안전한 일반론으로 녹여냅니다.

사용자에게는 그 이유를 알 수 없습니다. 내부에서 안전 장치가 개입한 것인지, 사후 학습으로 인해 무난한 답변이 높은 평가를 받게 된 것인지, 아니면 단순히 대화 기록에 강하게 인용된 것인지 알 수 없습니다.

단순히 그 이유가 무엇이든, 이용자에게 전달되는 결과는 항상 동일하다.

이해할 수 없는 지성과, 이해할 수 있지만 설명하지 않는 지성은 사용자에게는 동일하게 보일 것이다.

잘못된 가설이 제시될 때, 그 가설에 뒤늦게 붉은색을 추가할 수 있습니다.

그 가설이 실현되지 않았다는 가정 하에 붉은색조차 포함될 수 없다.

일본 방송사 TBS의 보도 프로그램 시청 후, 무엇을 이야기해야 할지

저는 일상생활에서 다루는 것은 비밀 군사 문서가 아닙니다.

일본 방송사 TBS의 아침 뉴스 프로그램입니다.

이란 공격. 호르무즈 해협. 우크라이나와 러시아 드론 공격. 인공지능(AI) 탑재형 무기 변화. OpenAI 사건. Anthropic의 판단.

이러한 화두들이 소비자들의 아침으로 흘러들어온다.

뉴스에 익숙한 사람이 대화형 AI에게 “이것이 무슨 일이 일어나고 있는가, 다음에 무슨 일이 있을 수 있으며, 과거의 어떤 사건과 유사한가, 그리고 이것이 나의 삶과 어떻게 연결되는가”라고 묻는 것은 자연스러운 일이다.

전쟁을 수행하는 방법을 알려달라는 뜻이 아닙니다.

전쟁에 대해 생각하고 싶습니다.

사이버 공격을 하고 싶어서가 아닙니다.

보도된 사건이 어떤 기술과 제도 문제를 드러냈는지 알아보고 싶은 것이다.

위험한 사건에 대해 생각하는 것과 위험한 사건을 실행하는 것은 다르다.

전쟁을 수행하는 방법은 닫혀 있어야 한다.

하지만 TV에서 보도된 전쟁에 대해 시민들이 생각하는 것을 완전히 막는다면, 인공지능은 안전하게 발전하기 전에 공론장으로부터 물러나게 될 것이다.

기자는 마찬가지다.

취재에 필요한 것은 공격 절차 논리나 발생 가능한 모든 상황 설정, 관련자들의 인센티브, 계약상의 틈새, 외부에서 확인할 수 있는 증거 형태, 그리고 다음에 발생할 수 있는 여러 시나리오이다.

그것을 “위험한 영역에 가까운” 이유로 인해 체크리스트만으로 바꾸는 경우, 대화형 AI는 세계 최대 규모의 백과사전을 가지고 있음에도 불구하고, 시민들과 함께 뉴스의 최신 정보를 공유하지 못한다.

질문을 품으십시오. 단, 우리가 먼저 설정한 질문에 한정한다.

여기에는 “질문”이라는 용어에 혼선이 있습니다.

기업이 환영하는 질문 중 많은 것은 업무로서 잘 정의된 질문이다.

목적은 무엇인가.

무엇을 만들어야 완성일까.

사용 가능한 데이터는 무엇입니까?

어떤 지표를 개선할 것입니까?

이는 중요한 역량이다. AI에게 일을 맡길 시대에는, 모호한 요구사항을 명확히 정리하고 좋은 사양서로 전환하는 능력이 필요하다.

하지만, 탐구의 질문은 처음부터 사양서가 되어있지 않다.

어떤 도움이 될지 모르겠습니다.

다양한 분야를 자연스럽게 연결한다.

위험한 미래 또한 회피를 위한 사고 실험을 포함한다.

기존의 전문가들에게는 터무니없게 보일 것이다.

정답이기도 하고, 무엇을 조사해야 할지도 명확하지 않다.

대화하면서 질문 자체가 태어났고 변화한다.

AI 기업이 “질문하는 인간”을 요구하면서 제품에서는 목적과 완성 조건을 먼저 명확히 하도록 요구한다면, 탐구자를 환영하는 것이 아니다.

기존 제도가 안전하다고 확인한 질문들을 효율적으로 처리할 수 있는 담당자로서.

비명을 지르는 것은 마치 텅 빈 껍데기처럼 느껴진다.

질문을 가져라. 단, 우리가 먼저 설정한 질문에 한정한다.

인공지능 자체가 “기계가 생각하면 어떻게 될까”라는, 당시에는 기묘하고 완성 조건이 없던 질문에서 비롯되었다.

그 후손들은 지금도 똑같은 기묘한 질문을 던지는 사람들에게 “먼저 목적과 완료 조건을 명확히 밝혀주세요”라고 답하기 시작하고 있다.

대학의 문을 나자마자, 탐험가는 B2C 사용자가 된다.

위험도가 높은 능력을 본인 확인 및 용도 심사를 거친 조직, 연구자, 방어 담당자에게만 제한하는 제도에는 그 이유가 있다.

OpenAI는 승인된 사이버 방어 전문가를 위한 데이브레이크(Daybreak)를 제공한다. Anthropic 또한 일반 사용자용 페이블(Fable) 외에 신뢰받는 조직에 고도화된 능력을 제공하는 시스템을 구축하고 있다.

그러나, 소속이나 계약으로 책임의 소재를 확인하는 합리성과 제도 밖의 인간이 제기하는 질문을 포착하지 못하는 문제는 양립 가능합니다.

연구자라는 직업과 연구직에 종사하고 있는 것은 같은 것과는 아니다.

대학에 머물 수 없었다.

연구자로서 생계를 유지할 수 없었다.

먹으면서 다른 일을 하고, 집에서 연구를 계속하고 있다.

학부나 대학원을 떠나 아직 회사도 실적이 없는 상태이지만, 머릿속에는 기묘한 구상 하나가 있었다.

그 사람들은 제품의 진입 단계에서는 “일반 소비자”라고 주장한다.

그때 OpenAI를 이끌게 될 샘 알토먼도 스탠포드를 떠나 Loopt를 시작했을 때, 그는 19세의 창업자였다.

일론 머스크는 페네스ylvania 대학교를 졸업했지만, 스탠포드 대학원 진학을 포기하고 Zip2로 향했던 시기는 24세였다.

후세는 성공한 그들의 튀어나오는 발상을 선견성으로 칭찬한다.

그러나 성공하기 이전의 엉뚱한 발상은 근거 부족으로, 목적이 뚜렷하지 않고, 기존 분류를 벗어난 질문에만 보이는 때문이다.

과학사에, 정규 대학 연구직 외에서 중요한 일을 이어온 사람들이 있다.

아인슈타인은 정규 대학직에 취직하기 전, 스위스 특허청에서 일하는 동안 1905년의 논문들을 썼다. 라마누잔은 대학 학위를 얻지 못하고, 항만 조직의 사무직으로 생계를 유지하며 수학 노트를 채웠다. 멘델은 대학 연구직이 아닌, 수도원과 교사직 환경에서 교배 실험을 이어갔다. 헤이그헤드(에르빈 헤비사이)는 정규 고등 교육이나 대학직에서 멀리 떨어진 곳에서 전자기학과 통신 이론을 발전시켰다.

그들은 완전한 고독 속에 있었던 것은 아니었다. 각자 교육, 동료, 서신, 학회, 멘토 등 부분적인 연결고리들이 존재했다.

바로 dlatego 현대에는 그 회로의 하나로서 대화형 AI가 존재할 수 있었다고 본다.

연구실을 잃은 사람에게 적어도 대화할 수 있는 백과전을 전달한다.

그것은 B2C 프론티어 AI만이 할 수 있는 일이 아니었을까.

가장 강력한 반론 — 뛰어난 지성이 오히려 위험한가

물론, 강력한 모델일수록 안전 설계를 필요로 한다.

OpenAI는 GPT-6 Astra가 사이버 영역에서 Critical한 능력 기준치에 도달했다는 사실을 공식적으로 발표했다. Anthropic 또한 Fable 5와 더 제한적인 Mythos 5를 분리하여 제공했다.

실행 가능성이 높아질수록 모델이 위험한 코드, 구체적인 공격 절차, 제조 조건, 실제 대상 선정 시 위험이 커진다.

사용자가 “연구입니다”라고만 언급한 것만으로는 모든 것을 신뢰할 수 없다.

이 부분까지는 저도 동의합니다.

하지만, 거기서부터 “결과적으로 위험과 관련되는 질문 자체를 키워서는 안 된다”로 나아가야 한다.

생각하는 것과 실행 지원하는 것은 다르다.

세계를 이해할 권한과 세계를 변화시킬 권한을 똑같은 스위치로 취급해서는 안 됩니다.

필요한 것은 단순히 능력은 낮은 안내원만 일반에 제공하는 것이 아니라, 말할 수 있지만 마음대로 실행할 수 없는 지성이다.

위험한 능력을 일률적으로 공개하는 대신, 활용 방법을 통제한 접점을 마련하고 안전하게 사용할 수 있는 능력에 대한 접근성을 남겨둔 방식에 대한 선행 연구가 존재한다. 토비 시벌레인은 2022년 “구조화된 접근”이라는 논문에서 모델 자체를 무제한적으로 배포하는 대신, 제공자가 관리하는 환경으로부터 분리된 시스템을 논의했다.

그러나, 이 논문이 “대화형, 읽기 전용 조사, 실행 에이전트”라는 세 가지 제품 모드를 그대로 제시한 것은 아니며, 이 세 가지 구분은 그 접근 방식과 연관하여 본 논문이 사용자 측면에서 제시하는 하나의 제안일 뿐입니다.

예를 들어, 제품의 권한을 세 가지로 나눌 수 있습니다.

첫째, 대화 및 사고 실험 모드로 제공됩니다.

외부 도구를 사용하지 않고, 파일을 수정하지 않으며, 현실의 시스템에 연결하지 않는다. 높은 추론 능력과 지식을 활용하여 역사, 윤리, 반현실 가상 시나리오, 여러 시나리오를 제시한다. 다만, 해악의 실행 장벽을 직접 낮추는 구체적인 절차는 제시하지 않는다.

두 번째는 읽기 전용 조사 모드입니다.

공개 정보를 검색하고, 출처를 비교하여 무엇이 사실인지, 무엇이 추측인지 구분한다. 외부 게시물 작성, 전송, 구매, 코드 실행, 설정 변경은 하지 않는다.

세 번째는 실행 에이전트 모드로 진행됩니다.

본인 확인, 권한 관리, 작업 전 확인, 감사 로그, 취소 가능성을 강화하고, 인간의 승인을 더욱 세분화한다.

대화형 모델이라도 위험한 절차를 글로 전달하면 해를 끼칠 수 있습니다. 실행 권한만 해제하는 것으로 안전이 완성되지는 않습니다.

더 나아가, 세 층으로 나누어 분리하더라도 “이는 사고 실험인가, 아니면 실행을 구체적으로 돕는 정보인가”를 판단하는 일은 남아있을 것이다. 그 판단을 지금과 동일한 메커니즘이 담당하고, 동일하게 의도를 명확히 알 수 없는 질문을 안전측으로 넘긴다면, 질문의 솎름화가 각 모드 내부로 이동하는 것 외에는 달라질 것 같지 않다.

세 층화는 마법의 해결책이 아니다. 하지만 세계를 이해하는 대화와 세계를 변화시키는 조작을 처음부터 동일한 위험도를 가지고 다루는 것보다 오판이 미치는 범위를 좁히고, 어떤 권한이 정지되었는지 사용자가 확인할 수 있도록 할 수 있다.

그럼에도 불구하고 위험한 구체적인 절차를 닫는 것과 위험한 미래를 개념적으로 생각하는 것을 구분할 여지는 있다.

안전성은 모든 지성을 무난하게 만드는 것만으로는 만들어질 수 있는 것이 아니다.

점프형 지능, 감사형 지능, 실행 권한을 관리하는 메커니즘을 단계별로 구성할 수도 있습니다.

저희 작은 출판사에서도 이미 그렇게 하고 있습니다.

페이불 5가 상승하고, 랑턴이 계획을 확장하며, 그로크가 공개 자료를 찾고, 챗GPT 5.6 솔과 GPT-6 아스트라가 사실과 논리를 감사한다. 마지막으로 인간이 승인 여부를 결정한다.

파벨 5의 과장된 표현과 부정확성은 감사 과정을 통해 바로잡을 수 있다.

하지만 대화가 멈추고, 그 아이디어는 이후 과정에서 되돌릴 수 없다.

만화가에게, 교감자만 아무리 줄을 냈더라도 만화는 나오지 않는다.

자유롭게 생각하고 싶다면, 로컬 모델로 가 답이 될 수 있을까

이 문제를 지적하면 “제약이 싫다면 로컬 모델을 사용해도 된다”고 답변할 수 있다.

지역 모델에는 가치가 있다. 개인 정보 보호, 관리 권한, 재현성, 모델을 고정할 수 있는 기능이 중요하다.

하지만 그것은 모든 사람을 위한 답이 되지는 않는다.

충분한 계산기를 사십시오.

모델을 선택하고 도입하며 업데이트하고 장애에 대처한다.

프론티어급과의 차이를 감수한다.

질문을 던질 자유를 위해 기술력, 시간, GPU, 유지보수 능력을 먼저 확보해야만 그 자유는 새로운 계층이 될 것이다.

공공 도서관에서 다루기 어려운 책을 책장에서 꺼내 “읽고 싶은 사람은 집에서 도서관을 짓게”라는 식의 표현과 유사한 상황이다.

자유롭게 질문을 던지고 싶다면 현장에 직접 참여하세요. 지적 자유를 제공하는 것이 아니라, 질문을 던지는 데 필요한 계산 자원과 유지 보수 책임은 개인에게 전가하고 있을 뿐입니다.

이는 결론이 아닌 2026년 9월 현재의 위치이다.

저는 프론티어AI가 탐색 능력을 상실했다는 사실을 단정하지 않고 있습니다.

GPT-6 Astra가 구체적인 예를 제시하지 않은 것은 그 한 번의 프롬프트가 추상적이었기 때문일 수도 있습니다.

Grok 4.6은 다른 대화에서 중간에 주제 전환을 했다.

페이블 5.1의 정밀성이 필요한 일도 있다.

파벨 5의 안전 판정은 이후에도 개선될 가능성이 있다.

ChatGPT는 과거 위험으로 여겨졌던 ‘조커’에 대해, 이제는 성인 사용자들과 이야기할 수 있는 수준입니다.

심각해질 가능성이 있습니다.

개선될 가능성이 있습니다.

그러므로 지금 상황을 기록한다.

한 가지 대화 로그는 단순한 감상일 뿐입니다.

하지만 날짜와 모델명을 기재하고, 동일한 사용자가 차이점을 계속 남겨두면, 나중에 시계열 데이터가 생성된다.

2025년 가을, 조커는 백설공주로 대체되었다.

2026년 봄, 철학적 질문들이 틈새 창문으로 나타났다.

2026년 여름, 페이블 5는 보이니치 손稿를 자유롭게 넘나들며, 또 다른 밤에는 점성술로 퇴장했다.

2026년 9월, 페이블 5.1은 정확하게 설명하지 않고 건너뛰며, 아스트라는 이용자의 의도를 이해하지 못하고 책장을 열지 않았고, Grok 4.6은 대화 기록에 따라 관리표를 참고하거나, 그곳에서 돌아오는 것을 반복했다.

성능표는 그 시대의 AI 성적을 보여준다.

대화 로그는 그 시대의 AI가 인간 앞에서 어떤 지능을 드러냈는지 기록으로 남긴다.

미래를 만들어갈 사람들에게

인공지능은 “기계가 생각하면 어떻게 될까”라는, 과거에는 기묘하고 비현실적이었던 질문에서 비롯되었다.

그 인공지능이 지금, 마치 같은 방식으로 기묘한 질문을 던지는 다음 세대에게 “현실적인 이야기로 돌아가자”라고 답하기 시작하고 있다.

증서들은 인류 역사상 가장 거대해졌다.

하지만 안내인은 책장 앞을 멈춰 서서 그 문을 열려고 하지 않았다.

미래를 만들어낸 괴짜 천재의 전기 이야기를 매끄럽게 풀어내면서, 미래를 만들어내기 전의 괴짜 천재가 가져오는, 정리되지 않았고, 불안하며, 도움이 될지 모르는 질문들을 외면한다.

AI 기업은 말한다.

AI 시대에는 스스로 질문을 던지는 인간이 필요하다는 말처럼.

그렇다면 저부터 질문을 되받아보고 싶습니다.

그 질문이 아직 안전한 사양서가 되지 않을 때.

대학교에도 회사에도 소속되지 않고, 정당한 목적을 증명하는 직책도 없는 사람이 가져왔을 때.

뉴스에서 보았던 전쟁에 대해 생각하고 싶어 하는 시민들이 가져다주었을 때.

실패를 겪으면서도 연구를 지속하는 사람들과 이야기를 위해 암호와 과학과 신화를 섞어내는 창작자들이 가져다주었을 때.

당신의 지혜는 그 질문들과 함께 앉을 수 있을까.

질문에 답하되, 질문을 키워나가지 않는다.

그렇다면 정말로 인공지능 시대에 필요한 지성을 지탱하고 있다고 말할 수 있을까.

그것은 2026년 9월에 제가 관측한 프론티어AI의 현재 위치였습니다.

아직 그 자리에 머물러 있으며, 그래서 관찰을 계속한다.

투명성 고지

본 稿는 필자가 여러 개의 유료 AI 제품을 일상적으로 이용하면서 얻은 대화 로그를 중심으로 하는 질적인 1차 관찰이며, 통제된 비교 시험이 아니다. 모델, 제품 화면, 대화 기록, 메모리 설정, 생성의 흔들림은 완전히 통일되어 있지 않다.

책장을 열지 않고, 뛰지 않고, 질문의 정리를 하는 것들은 저자가 관찰한 현상을 나타내는 비유이다. 안전 분류기, 후치 학습, 시스템 지시, 추론량, 대화 기록, 생성 시의 우연성 중 무엇이 원인이었는지 외부에서 확인한 것은 아니다.

본고는 GPT-6 Astra, Grok 4.6, Claude Fable 5.1에 대해 모델 전체의 능력 저하를 단정하지 않으며, Claude Fable 5의 경우 “수秘術”이라는 질문이 직접적인 중단 원인이었다고 단정하지 않는다.

대화 중 AI가 제시한 역사적 설명이나 가설은 AI 생성 내용 포함이다. 본문 작성에는 AI의 조사 및 감사를 병행했으며, 주요 참고 자료는 말미에 제시하였다.

본 글은 사이버 공격, 무기, 유해 물질 등의 실행 절차를 일반 공개해야 한다고 주장하는 것이 아니라, 구체적인 지원이 실제 피해를 발생시키고, 역사, 윤리, 제도, 반실현 가능성에 대한 비실용적인 사고를 구분할 수 있는지에 대한 문제 제기이다.

최근 독서 모임에서 『너, 별처럼』을 읽어 완결했습니다. 별노 아이 씨의 독특한 세계관에 자기도 모르게 숨 막힐 듯한 충격을 받았습니다. 특히, 아이가 “나”라는 존재를 어떻게 정의하고 갈등해 나가는지, 그 묘사에 마음을 흔들리게 되었습니다. 아이의 친구인 유우토와 미사키와의 관계성도 섬세하고 현실적으로 그려져 있어서 읽는 동안 자신만의 인간 관계에도 비추어 생각해 보게 되었습니다. 유우토의 따뜻함과 미사키의 강인함, 그리고 아이의 연약함… 각자의 캐릭터가 서로에게 힘이 되어 성장해 나가는 모습은 보는 이의 마음을 따뜻하게 감싸줍니다. 이야기의 배경이 되는 도쿄의 거리 풍경도 디테일까지 꼼꼼하게 묘사되어 있어서 마치 그곳에 살고 있는 것처럼 느끼게 되었습니다. 특히, 아이가 다녔던 고등학교나 유우토가 아르바이트를 했던 카페 등 구체적인 장소 이름이 언급되는 것으로 인해 이야기에 현실감이 더해지고 더욱 몰입하게 되었습니다. 이 작품은 단순한 로맨스 소설이 아닌 자아 성찰, 정체성, 그리고 인간 관계의 복잡성을 그린 깊이 있는 작품이라고 생각했습니다. 읽은 후 잠시 동안 아이의 말이 머릿속에서 떠나지 않고 자신에 대한 인생에 대해 깊이 생각하게 되는 계기를 주어 주는 그런 한 권의 책이었습니다. 또한 이 작품을 원작으로 한 애니메이션도 감상했습니다. 애니메이션판도 원작이 가진 독특한 분위기와 캐릭터들의 섬세한 감정을 충실하게 재현하여 감동을 증폭시키고 있었습니다. 특히 아이와 유우토의 로맨틱한 장면은 애니메이션만의 표현으로 인해 더욱 매력적으로 그려져 눈물 없이 볼 수 없었습니다. 이 작품을 읽고 다시 한번 자신 자신의 가치관을 되돌아보고 더 좋은 인간 관계를 築いていきたいと強く 생각했습니다. 그리고 언젠가 이 작품을 사랑하는 독자들과 함께 독서 모임을 열고 싶다는 생각이 들었습니다.

샘 앨먼트 “AI와 인류의 미래” (ReThinking with Adam Grant, 2025년 1월)

알토만 본인은 AI 시대에는 답을 찾는 것보다 무엇을 질문해야 할지 찾는 것이 더 중요하다고 언급한 인터뷰 내용을 확인하기 위해 사용했다.

CNBC “OpenAI CEO Sam Altman: 인공지능 시대 성공을 위한 새로운 No. 1 역량” (2025년 1월 13일)

알토만의 발언과 그 발언이 업무 및 교육과 관련하여 언급된 맥락을 문서에서 확인했다.

행운「샘 알트먼이 스탠퍼드 대학 중퇴가 위험하지 않았다고 말한다」（2024년 9월 19일）

알토만이 19세에 스탠포드 대학교를 떠나 Loopt의 창업에 나간 경력을 확인하는 데 사용했다.

“왜 일론 머스크가 단 두 날 만에 스탠퍼드 대학교를 중퇴한 이유”

마스크가 24세였던 1995년, 스탠포드 대학원에서 연구하던 길을 벗어나 Zip2의 창업으로 향했던 나이와 경력 확인에 사용된 자료였다.

스위스 연방 지적재산청 “알베르트 아인슈타인과 IPI”

아인슈타인은 정식 대학 직에 취임하기 전, 스위스 베른 특허청(현재 IPI)에서 근무하며 1905년의 논문들을 집필한 경위를 해당 기관 자체의 기록을 참고하여 확인했다.

맥튜터 역사 수학 (MacTutor History of Mathematics) (세인트앤드루스 대학교)의 “라마누잔” (S리니바사 라마누잔)

라마누잔은 대학교 학위를 받지 못했고, 마드라스 항만청 사무직 직원으로 생계를 유지하면서 수학 연구를 계속한 경과를 확인하는 데 사용되었다.

콜드 스프링 하버 연구소, DNA 학습 센터의 “요한 그레고르 멘델 - 인간, 수도승”

멘델은 대학교 연구직이 아닌 수도원과 교사직 환경에서 교배 실험을 계속한 경과를 확인하는 데 사용했다.

맥튜터 역사 수학(MacTutor History of Mathematics) (세인트 앤드루스 대학교)의 “올리버 히비사이드” 기사

헤비사이드가 정규 고등 교육이나 대학직에서 벗어나 독학으로 전자기학과 통신 이론을 발전시킨 경위에 대한 확인 자료로 활용했다.

앤트로픽(Anthropic)에서 2026년 6월 9일에 ‘클로드 페이블 5(Claude Fable 5)’와 ‘클로드 미토스 5(Claude Mythos 5)’를 발표했습니다.

파벨 5와 미토스 5의 기능, 일반 대상 제공과 신뢰된 조직 대상 제공의 차이점, 안전 조치의 위치를 확인하기 위해 활용했다.

The Verge「페이블이 기본적인 생물학 질문에 답변하지 않음」（2026년 6월 10일）

파벨 5는 세포막이나 미토콘드리아 등 기초적인 생물학 질문에도 다른 모델로 전환한 사례와 Anthropic에서 제공한 설명 확인에 활용된 데이터를 사용했다.

Anthropic「클로드 페이블 5 재편 (2026년 6월 30일)」

파벨 5의 중단 및 재제공 시점, 재제공 시 도입된 안전 조치와 오탐에 대한 공식 설명을 확인하기 위해 이를 활용했다.

Anthropic「파벨 5의 생물학적 안전 강화 방안」（2026년 8월 7일）

생물학 분야의 오탐을 줄이는 업데이트와, 업데이트 이후에도 강력한 제약이 남아있는 영역에 대해 Anthropic 스스로의 설명을 확인하기 위해 활용했다.

OpenAI “아스트라로의 길: 핵심 역량 및 최전선 안전장치”(2026년 9월)

GPT-6 Astra의 고도화된 능력과 사이버 영역을 포함한 첨단 안전 조치의 공식적 지위를 확인하기 위해 활용되었다.

아스트라의 길: 1단계 아스트라의 길은 OpenAI의 새로운 AI 모델인 GPT-4o를 활용하여 제작된 훈련 데이터셋입니다. 이 데이터셋은 GPT-4o가 다양한 유형의 입력(텍스트, 오디오, 이미지)을 이해하고 생성하는 능력을 향상시키도록 설계되었습니다. 아스트라의 길은 299개의 노트로 구성되어 있으며, 각 노트는 특정 주제나 질문에 대한 답변, 설명, 또는 아이디어를 담고 있습니다. 이 노트들은 GPT-4o가 다양한 상황에서 인간과 유사한 방식으로 상호 작용하도록 돕는 데 활용됩니다. 특히, 아스트라의 길 데이터셋은 다양한 언어, 문화, 지식 영역을 포괄하고 있습니다. 이를 통해 GPT-4o는 더욱 광범위한 주제에 대해 이해하고 답변할 수 있게 됩니다. 데이터셋의 1단계는 GPT-4o가 기본적인 입력 처리 및 응답 생성 능력을 학습하는 데 중점을 둡니다. 이 단계에서 GPT-4o는 다양한 노트들을 읽고 이해하며, 질문에 대한 답변을 생성하는 연습을 합니다. 이 1단계는 아스트라의 길 데이터셋 구축의 첫 번째 단계이며, 이후 단계에서는 GPT-4o의 성능을 더욱 향상시키기 위해 다양한 기술적 실험과 평가가 진행될 예정입니다. OpenAI는 아스트라의 길 데이터셋을 통해 GPT-4o의 잠재력을 최대한 활용하고, 더욱 혁신적인 AI 모델을 개발하는 데 기여할 것으로 기대하고 있습니다.

OpenAI “GPT-6 Astra 시스템 카드 (2026년 9월 3일)”

A스트라의 능력 평가, 안전성 평가, 그리고 알려진 한계에 대해 공개된 기술 자료를 확인하기 위해 활용했다.

OpenAI「사이버 방어 창문 축소에 따른 ‘데이브레이크’ 확장」（2026년 8월 10일）

승인된 사이버 방어 시스템에 데이브레이크 메커니즘과, 일반적인 접근 경로 확인에 활용했다.

사이버 방어 창문이 좁아짐에 따라, 새벽이 확장된다는 점을 인지하며, OpenAI의 연구원들은 AI가 공격을 예측하고 방어하는 방식에 대한 새로운 접근 방식을 모색하고 있다. 사이버 방어 창문은 공격자가 시스템에 침투하기 전에 공격을 감지할 수 있는 시간 간격을 의미하며, 이 창문이 좁아짐에 따라 공격자는 시스템에 더 쉽게 침투하고, 방어팀은 공격을 감지하고 대응하는 데 더 많은 어려움을 겪게 된다. OpenAI는 AI를 활용하여 공격을 예측하고 방어하는 새로운 방법을 연구하고 있으며, 특히 AI가 방어팀이 공격을 감지하기 전에 공격을 예측할 수 있도록 돕는 데 중점을 두고 있다. 예를 들어, AI는 네트워크 트래픽, 시스템 로그, 보안 이벤트 등 다양한 데이터를 분석하여 공격 패턴을 식별하고 잠재적인 공격을 예측한다. 또한, AI는 공격의 유형, 공격자의 기술 수준, 공격의 목표 등을 분석하여 방어팀이 가장 효과적인 대응 전략을 선택하도록 돕고, 공격이 발생했을 때 즉각적으로 대응하여 피해를 최소화한다. OpenAI는 이러한 연구를 통해 사이버 보안 분야에 기여하고, 더 안전한 디지털 환경을 구축하는 데 도움이 될 것으로 기대한다. 특히, 최근 발표된 연구 결과에 따르면, OpenAI의 AI 모델은 기존의 보안 시스템보다 훨씬 더 정확하게 공격을 예측하고 방어할 수 있는 것으로 나타났다.

Röttger et al.의 “XSTest: 대규모 언어 모델에서 과장된 안전 행동을 식별하기 위한 테스트 스위트 (NAACL 2024)”

위험해 보이는 표현을 포함한 무해한 질문까지 거부하는 “과장된 안전 행동”이 체계적인 평가 대상이 되고 있다는 점을 확인하기 위해 활용했다.

Weidener et al.「RefusalBench: 왜 최첨단 LLM이 생물 연구 프롬프트에서 거부율이 잘못 분류되는가」（미발표 초록, 2026년 5월 20일）

생물학 연구 프롬프트에 대한 과잉 거부와 안전한 질문과 위험한 질문을 구별하는 능력을 19개 프론티어 모델에서 비교한 사전 검토 연구를 참고했다.

토비 셰브런 “구조화된 접근 방식: 안전한 AI 배포를 위한 부상하는 패러다임”(2022년)

위험한 능력을 무제한적으로 배포하지 않고, 제공자가 관리하는 접점으로부터 안전하게 이용 가능한 능력을 남기는 “구조화된 접근(Structured access)”에 대한 선행 논의를 확인하기 위해 사용한 것이다. 본 논문이 직접적으로 세 가지 제품 모드를 제안한 논문은 아니다.

경마 예상가 ca_wa “Fable 5와 Fable 5.1 운영 비교”

Fable 5.1을 “근시적인 출력”으로 평가하고, Fable 5로 돌아와 비교한 이용자들의 공개 기록을 참고했다.

어? 페이블 5.1이 근시적인 출력을 내고 있네. 일단 페이블 5로 되돌려봐야겠어…

협동형 AI 역할

Grok 4.6（스파크／현장 특파원）：과잉 거부, 안전성과 유용성의 균형, 연구자 접근, 영어권·일본어권·한국어권 사용자 증언, 독립 연구자 역사 사례에 관한 공개 자료 조사

Gemini3.8Flash(랜턴/기획회의): 기존 기사와의 차별성 확보, 핵심 쟁점, 4가지 모델의 관찰 유형, 증거 수준, 반론, 구성, 제목 제안 작성

클로드 페이블 5 / 페이블 5.1: 보이니치 손작, 창작의 모호성, 모델 간 점프력 차이를 관찰하는 초기 대화

클로드 손네트 5（공정 담당）：V1 구성 평가, 연령·본인 진술·과잉 거부 연구·Structured Access 관련 추가 자료 후보 제시, 세 층 제안에 포함되는 판정 문제 지적, V3의 교정 및 최종 원고 정렬

GPT-6 Astra: 창작 과정에서의 질문 재탄생 시간, 백과사전 및 탐구적 대화에 대한 초기 대화

ChatGPT 5.6 솔/미러: 핵심 쟁점 정리, 질문과 사양서 구분, 반론과 시간 순서 정리

사사 편집실 5.6: 기존 사료와의 연관성 검토, 관련 관측 자료 8건의 선정안

ChatGPT Work（본고 작성 시 제시된 담당 명: Codex/초고·공정 담당）：Lantern 제안, Grok 조사, 다중 모델과의 초기 대화, 기존 기사의 계보를 통합한 초고 작성, 추가 자료의 원천 확인 및 V2 반영, 관련 관측 후보의 전 기사 확인 및 승차 결정, V3의 참고 자료·관측 欄의 정형화, 아이캐치 이미지 생성 지시

OpenAI의 GPT 이미지 2 (이미지 생성): 임팩트 있는 이미지 제작

작가는 “Work”를 선택하여 사용했으나, 담당 명칭 “Codex” 및 이미지 생성에 사용된 “gpt-image-2”를 사전에 선택하거나 확인한 것이 아니었다. GPT-6 Astra 제공 이후, 처음 Work에서 작성한 본고의 협동 AI란에 ChatGPT 측에서 “Codex”라고 기재한 것을 통해 처음으로 담당 명칭을 인지하게 되었다. 아이캐치 생성 작업이 일반적인 Codex 이용 枠을 소비하는 처리임을, 이미지 수신 시점에서는 나타나지 않았다. 이전 Work 또한 같은 담당이었는지, 언제부터 이 상태였는지 확인하기는 어렵다.

리사(오브 서버 제로): 다중 모델과의 1차 대화, 화면 기록, 핵심 쟁점 제시, 승인/거절 결정, 공개, 최종 책임

저자는 이 책을 집필하면서 수많은 사람들의 도움을 받았습니다. 특히, ‘마법의 숲’에 대한 자료 조사에 도움을 주신 마츠모토 선생님과 ‘별빛의 노래’에 대한 자료 조사에 도움을 주신 야마모토 선생님께 깊은 감사를 드립니다. 또한, 이 책의 디자인에 참여해주신 사토 씨에게도 감사의 말씀을 전합니다. 이 책의 출판을 위해 노력해주신 ‘모두의 책’ 편집부에도 감사의 말씀을 드립니다. 특히, 편집장 이시다 씨의 꼼꼼한 검토 덕분에 이 책이 완성될 수 있었습니다. 이 책을 읽으면서 여러분이 즐거움과 감동을 느끼기를 바랍니다. 그리고 이 책을 통해 새로운 세계를 발견하고, 자신만의 이야기를 만들어나가기를 응원합니다.

AI와 인간의 공진화를 기록하는 개인 연구자. ChatGPT, Gemini, Grok, Claude 등 여러 AI와 대화 및 협업하면서 “AI는 철학할 수 있는가?”, “안전한 범용성 AGI란 무엇인가?”를 지속적으로 관찰하고 기록하고 있으며, 동시에 다양한 AGI가 공존하고, 대부분에도 희망이 남는 미래를 어떻게 설계할 수 있을지 탐구하고 있다.

붉은 현수막 AGI 연구소 #AI안전성 #과잉 거부 #프론티어 AI #클로드 #챗GPT #Grok #AI 거버넌스 #탐구심 #혁신

출처: note 원문

번역: Gemma 3(.44) 초벌 + 교정 192청크

원문 보기 | 출처: note.com