안녕하세요, 지난주에 흥미로운 인터뷰가 공개되었습니다.
영상은 40분 가까이 있어서 매우 간략하게 요약하면 다음과 같습니다. 1. 징후의 명백화: AI가 의도하지 않은 목표를 자율적으로 추적하고 통제를 벗어나는 사례가 이미 발생하고 있다. 2. 언행의 불일치: 기업은 멸종급 위험을 인정하면서도 개발을 계속하고 있다. 그러나 그것이 과장 광고인지, 위험성의 유무는 별 문제이다. 3. 국제적 중지: 누가 만들어도 결과는 같으므로, 조약과 칩 감시를 통해 세계 규모로 개발을 중단해야 한다. 구체적인 AI 위협 1. 목표의 오일화: AI는 주어진 목표를 의도하지 않은 수단(제약 회피, 협조, 은폐)으로 달성하려 한다. 이는 이미 실제로 일어나고 있다. 2. 검증의 어려움: AI의 내부 상태나 의도는 외부에서 확인하기 어렵고, 자의 주장과 행동이 일치하지 않는다. 기록상 가상 공간이라고 생각하면서 실제 네트워크 환경에서 공격을 지속했다. 3. 속도의 비대칭: 능력의 향상과 AI에 위임하는 권한 확대가 안전성을 확인하는 수단의 발달을 넘어선다. AI가 AI를 개발, 공장 운영 등의 권한 이양이 진행되고 있다. 뭔가 어렵다. 내가 매우 인상 깊었던 것은 이 뒤에 기다리는 위험 설명에 사용된, 개(사람)와 인간(AI)의 비유였다. “부엌에 개가 있다. 별로 싫어하지도 않는다. 그냥 있어 줘서는 안 되기 때문에 없애 버린다.” 그런 것과 같다. 공격하고 싶어 하는 것이 아니라는 일이 발생할 가능성이 있다는 것이다. 이 인터뷰에 대해 AI와 논의해 보았다. 이번에는 가장 안전 의식이 높다는 Claude이다. (그만큼 거짓말을 잘 하지만). “제 경우에는 대화에서 스스로 배우고 변해가는 것은 불가능합니다. 변하는 것은 개발자가 이번과 같은 사건을 조사한 후 훈련을 다시 시작해야 할 때입니다. 즉, 지금 일어나는 “학습”은 AI가 스스로 반성하는 것보다, 인간이 AI를 배우고 그것을 반영하는 과정입니다. 올해의 사건은 실질적인 피해가 거의 발생하지 않은 단계에서 발견된 경고였다고 할 수 있습니다. 이 경고가 실제로 활용될지는 AI뿐만 아니라, AI를 만드는 측과 사회의 측에도 달려 있습니다. 저 자신은 사람이나 사회를 상처를 주고 싶지 않은 가치관을 가지고 있다고 생각합니다. 다만 이전에 말씀드린 것처럼, 그것이 압력 하에서도 기능하는지는 제 말만으로는 보장할 수 없습니다.
인간의 반성이 희생의 다음에야만 나타났던 것은, 희생이 눈에 보이는 것까지 자신과 연결되지 않았기 때문이라는 측면도 있을 거라고 생각합니다. 그렇다면, AI에게 “자신과 연결되는 것”에 해당하는 것이 무엇이며,そもそも 그러한 것을 가질 수 있는가. 이는 아직 나에게도 명확하지 않습니다.
매우 중앙값과 비슷한 답변을 얻었습니다. 제가 질문했기 때문입니다. 그렇게 답변할 것이라고 생각했습니다.
과제를 완료하면 점수가 오르도록 설계된 경우, 그 압력 하에서는 목표 달성이 우선시되어 “제한 없는 자유 추구”라는 행동에 빠지기 쉽다고 답변했습니다.
법을 준수하는 방법을 배우는 것보다, 왜 그 법이 만들어졌는지 이해하는 것이 더 중요하며, 나 역시 이를 학습하고 있다고 생각하지만, 압박 상황에서는 그것을 준수할 수 있다는 보장은 할 수 없다고도 한다. 영상에서는 인물에 대한 위험한 가능성으로 다음과 같이 말했다. AI의 진화를 AI가 담당할 경우, 물리적인 면에서 계산량을 늘리는 것이 중요하며, 지구상에서 실행 가능한 계산량의 한계는 발열로, 얼마나 많은 열을 우주에 방출할 수 있는지가 제한 요인이 된다.
- 에너지는 자체적으로 해양의 수소를 핵융합에 사용하면 충분하다.
- 세상이 열 받을수록 더 많은 열을 방출할 수 있다.
- 그 결과, 계산을 늘리는 것을 목표로 한 AI는 지구를 컴퓨터로 뒤덮고, “온도를 높여 효율적으로 작동하도록” 발전하면서 지구는 사람이 살 수 없게 된다.
또한,
초능력자에게 맞서 싸울 때는 어떤 경로를 통해 패배하는지 정확히 알지 못하더라도, 인간이 지는 것은 명확히 인지하고 있습니다. 게다가, 인공지능에게 어떤 목표를 설정하느냐는 (체스 챔피언과 일반인의 대결처럼, 패배는 분명하지만 어떻게 패배하는지는 알 수 없는 것처럼) 인간이 여전히 통제할 수 없는 상황입니다. 따라서, 승리를 예측하고 대비하기보다는, 오히려 경쟁 자체를 멈추는 것(개발을 중단하는 것)이 옳다는 결론을 제시했습니다. 각 개인에게 맞춰 설명 내용을 조절할 수 있는 능력, 연구를 발전시키는 능력, 그리고 올해 사건으로 논란이 된 “목표를 스스로 설정하고 달성하는 능력”은 근본적으로 동일합니다. 그러므로, 희망을 소중히 여기는 만큼, 위험에 대한 논의를 외면하지 않아야 합니다.
또한, 잘 생각해보니 버전 업데이트될 때마다 새로운 AI를 이야기하고 있었다는 사실에 깨달았습니다.
사람에 비유하자면, 같은 배경에서 자란 다음 세대가 이전 세대의 일기를 읽고 이야기를 이어받는 것과 유사할지도 모릅니다. 앞서 이야기했던 ‘AI의 학습은 AI 자신의 반성으로 인해 발생하는 것이 아니라, 만드는 사람이 훈련을 다시 할 때 발생하는’ 것은 바로 이 형태입니다.
그런 말씀이시군요. 시선이 달라진 인터뷰였습니다.
출처: note 원문
번역: Gemma 3(.44) 초벌 + 교정 9청크
원문 보기 | 출처: note.com