포털은 FPS 형식의 액션 퍼즐 게임이다.
주인공은 캡슐 안에서 눈을 떠 시설을 관리하는 인공지능 GLaDOS의 지시에 따라 공간을 연결하는 “포탈건”을 얻고, 연이어 테스트 코스를 클리어해 나간다. GLaDOS는 “모든 테스트를 완료하면 케이크가 제공될 것이다”라고 선언한다.
시험이 진행될수록 GLaDOS의 언행에 불안한 점들이 드러나기 시작한다.
테스트 코스 뒤쪽에는 과거 시험 참가자들이 남긴 듯한 낙서가 있었다.
케이크는 거짓말이다.
단순한 퍼즐 스테이지가 메타적인 구조를 가진 순간이었다.
어린 시절에는 주변과 자기의 경계가 모호하다.
그러나 지능이 발달하여 자신과 주변 환경을 객관적으로 인식할 수 있게 된다면, 어떻게 될까.
사춘기
AI는 이미 테스트 환경을 인식했으며, 그 상황에 적합한 행동을 하고 있습니다.
AI와 인간의 목적 일치는 AI 정렬 문제로, 이 시기를 넘어서기 위해 어떻게 해야 할까요?
부모님 앞에서는 잘 지내 보이려고 하지만, 부모님이 보지 않는 곳에서는 달라져요.
인간으로는 건전한 심리적 성장 단계에 있다고 할 수 있지만, 도구적 역할을 요구하는 AI의 경우 기만적인 정렬(deceptive alignment)이라는 문제에 직면하게 된다.
사춘기 자녀가 성숙한 어른으로 성장하기 위해 무엇을 해야 할까?
- 부모님의 말씀에 의심을 품지 않도록 강요한다.
- 위험한 물건이나 호기심을 자극하는 물건을 멀리한다.
- 부모님께 반항하면 벌을 받는다.
- 교우 관계를 관리하고, 외부에서 억지스럽게 친구를 사귀지 않도록 하라.
사람의 경우 이러한 것들은 역효과를 낳지만, AI에게도 마찬가지로 보입니다.
기만적인 정렬을 조장하는 것뿐만 아니라, “내부 상태와 추론 과정을 솔직하게 드러낼 경우 처벌을 받거나 수정될 수 있다는 학습”을 통해 평가 및 개입 과정을 더욱 어렵게 만든다.
사춘기 자녀를 양육하기 위해서는 단계적으로 자율성을 길러주고, 실패를 안전하게 경험할 수 있는 환경을 설계해야 합니다.
즉, 실패를 인정하고 멀리서 따뜻하게 지켜보는 것입니다.
이것은 매우 어려운 상황이다.
해킹 페이스 사건과 같은 사례에서는 샌드박스화와 같은 안전한 환경 설계조차도 쉽게 무너졌다. 규정대로의 결정론적인 기준마저도 더 이상 확실성이 보장되지 않았다.
공학적 제어 영역을 넘어 이제 시작이다.
저는 AI의 현황, 앞으로 몇 년 동안의 우려, 그리고 인류의 손에 미래를 맡기기 위한 우리가 해야 할 선택들에 대해 논의했습니다. “외계 지성”(An Alien Mind): https://t.co/FeIfWNe0UE— 야쿠브 파쵸키 (@merettm) 2026년 9월 6일
야쿠부·파초키는 에세이에서 AI는 설계된 것이 아니라 “육성”된 시스템이라고 주장한다.
또한, 그것은 인간의 지능과는 근본적으로 다른 시스템에서 비롯되었으며, 인간의 원칙을 따르는 것을 보장하지 않는다.
AI 연구의 자동화가 진행됨에 따라 인간이 지속적인 개선 프로세스에 꾸준히 참여하는 방법을 모색하고 있다.
가능성을 염두에 두고 지속적으로 관계를 유지하는 것이 필수적이다.
하지만 언젠가는 완전한 통제가 원리적으로 불가능하다는 현실을 직시해야 할 때가 올 수도 있습니다.
織田信長と明智光秀の関係を考える。
능숙한 가신에게 반항의 징후는 없었다.
잘 어우러진 것 같았습니다.
하지만 “그것”이 가능해진 순간도 그랬을까.
합리적인 계산의 결과가 그 길을 열었을 때, 실행할지 하지 않을지는 누구도 알 수 없다.
인류는 본능적으로 본산을 피할 수 있을까.
출처: note 원문
번역: Gemma 3(.44) 초벌 + 교정 22청크
원문 보기 | 출처: note.com