앤트로픽의 “AI 개발을 늦추자”라는 주장을 어떻게 볼 것인가
앤트로픽이 최첨단 AI의 개발 속도를 조금 늦춰야 한다고 주장하고 있다.
이유는 AI의 안전성이다.
AI의 능력 향상이 너무나 빨라, 이대로 기업 간 경쟁이 계속된다면 안전성 연구와 감독이 따라가지 못할 가능성이 있다.
그래서 앤트로픽은,
우리만 멈추는 것이 아니라 업계 전체가 개발 속도를 늦출 필요가 있다
라고 주장하고 있다.
이건 논리적으로는 이해가 된다.
앤트로픽만 개발을 중단해도, OpenAI나 Google, 중국 기업 등이 그대로 개발을 계속한다면, 단순히 앤트로픽이 경쟁에서 탈락할 뿐이기 때문이다.
한 회사만 멈춘다고 해도 AI 전체의 위험성은 줄어들지 않는다.
그래서,
“우리들만이 아니라, 모두 함께 속도를 늦추자”는 이야기가 된다.
여전히 관점이 최고입니다. 해외 Y파파 라디오 세계를 읽어내다
라이벌들도 곧바로 뛰어들었다.
흥미로웠던 것은 앤트로픽의 주장에 라이벌 기업 수장들이 상당히 이른 단계에서 찬동했다는 점이다.
OpenAI의 샘 올트먼, xAI의 일론 머스크, Google DeepMind의 데미스 하사비스가 잇따라 지지를 표명했다.
OpenAI조차 앤트로픽이 제안한 제3자 안전성 평가에 참여할 의향을 보이고 있다.
여기부터는 추론이다.
앤트로픽만이,
AI는 위험하기 때문에, 우리는 안전성을 중시합니다.
라고 말한다면, ‘안전을 가장 중시하는 AI 기업’이라는 포지션을 앤스로픽이 상당히 강하게 차지하게 된다.
하지만 경쟁사들도 곧바로,
그 위험성은 우리도 인식하고 있다
하고 탔다.
결과적으로, “AI 안전성”은 앤스로픽만의 입장이 아니라 주요 기업 전체가 공유하는 입장이 되었다.
이는 각 사에게 상당히 합리적인 움직임이라고 생각한다.
이 제안은 사실 상위 기업 전체가 손해를 보기 어려운 구조이다
처음에는 앤트로픽만 보고 있었다.
그러나 OpenAI, Google, xAI까지 가세하면 조금 다른 구조가 보이기 시작한다.
현재 AI 개발 경쟁은 무조건 돈이 많이 든다.
100을 투입하면, 라이벌이 120을 투입한다.
그러면 150.
다음은 200.
선두 집단에 계속 머무르기 위해서만도 끊임없이 자본을 투입해야 한다.
이것은 앤트로픽만의 문제가 아니다.
OpenAI에도 Google에도 xAI에도 공통적이다.
그래서 만약 최상위 기업끼리,
“이대로 능력 경쟁을 계속하는 것은 위험하므로, 속도를 조금 늦춥시다”
이러한 합의가 성립되면, 모두에게 이익이 있다.
- 향후 자본 소모전을 완화할 수 있다
- 현재 기술 수준을 유지하기 쉽다
- 현재의 고객과 브랜드도 유지하기 쉽다
- 안전성에 대한 대응도 추진된다
그리고 가장 중요한 것은, 현재 순위를 어느 정도 유지한 채 경쟁 속도를 늦출 수 있다는 것이다.
상위 집단에게는 이는 꽤 유리하다.
반대로, 이 제안이 받아들여지지 않더라도 그다지 문제되지 않는다.
각 회사는 그대로 AI 개발 경쟁을 계속하면 된다.
그렇게 한 뒤에,
우리는 이전부터 AI의 위험성을 경고하고, 안전 대책을 요구하고 있었다.
라는 입장은 남는다.
즉,
모두가 속도를 늦추면 선두 기업에게는 호재다.
아무도 속도를 늦추지 않는다→ 그대로 경쟁을 계속하면 된다.
상당히 손해를 보기 어려운 제안이다.
그렇다면, 누가 불리해지는가
여기서 문제가 되는 것은 현재 상위 그룹 밖에 있는 기업이다.
가령, 현재의 선두 기업을 중심으로,
이 능력 이상의 AI를 만들려면 엄격한 안전 평가와 감독이 필요하다
이라는 규칙이 만들어졌다고 하자.
물론 안전을 위해서는 필요한 규칙일 수도 있다.
다만, 그 규칙을 지키기 위해서는,
- 대규모 안전 연구 부문
- 외부 평가
- 법무
- 정부와의 조정
- 막대한 컴퓨팅 자원
등이 필요해질 가능성이 있다.
그렇게 되면, 그 비용을 쉽게 부담할 수 있는 것은 결국 이미 거대해진 기업이 된다.
선두 기업에게는 '안전 규제'이지만, 후발 기업 입장에서 보면 '진입 비용 상승'이 될 가능성이 있다.
그래서 이번 제안에는,
AI 안전성을 높이다
라는 측면과 동시에,
현재 상위 집단의 위치를 결과적으로 고정할 가능성
도 있다.
아래는 설명이므로 읽지 않으셔도 됩니다.
이제부터는 이 제안이 왜 톱 기업에게 손해가 되기 어려운지 구조만 정리하겠다.
“나만 멈추는 것”과 “모두 함께 멈추는 것”은 전혀 다르다
앤트로픽은,
AI는 위험하니까 우리는 멈추겠습니다
그렇다고는 말하지 않았다.
말하고 있는 것은,
AI는 위험하니까, 모두 함께 속도를 늦춥시다
이다.
나만 멈추면 경쟁에서 탈락한다.
하지만 톱 기업들이 일제히 속도를 늦추면, 현재의 순위나 기술 격차는 어느 정도 그대로 유지된다.
단순화하면,
톱 집단 ───────A 후발기업 ────B
라는 상태에서 멈춘다면,
선두 집단 ───────A｜정지
후발 기업 ────B───｜정지
된다.
형식상으로는 모두가 똑같이 감속하고 있더라도, 현재의 차이는 그대로 남는다.
즉, 이미 선두를 달리고 있는 기업일수록 현재 위치를 유지한 채 경쟁 비용을 낮추기 쉽다.
안전을 이유로 내세우면 반박하기 어렵다
또 하나 중요한 것은 “AI의 안전성”이라는 논점이다.
만약,
AI 개발은 돈이 너무 많이 드니까, 우리 모두 경쟁을 완화해 보면 어떨까요?
라고 하면,
그건, 지금의 톱 기업 지위를 지키고 싶을 뿐인 거 아니야?
라고 쉽게 비판할 수 있다.
그러나,
AI에는 중대한 위험이 있다. 따라서 개발 속도를 늦출 필요가 있다.
그렇게 되면 한꺼번에 반론하기 어려워진다.
“그 제안은 상위 기업에 너무 유리하다”고 비판해도,
그렇다면 AI의 위험성은 어떻게 해야 할까?
라는 이야기가 되기 때문이다.
비판하는 측은 먼저,
AI의 위험성 자체를 부정하는 것은 아니다
라고 설명해야 한다.
원래는 “이 규칙은 경쟁 측면에서 공정한가”라는 이야기였는데, “AI의 위험성을 이해하고 있는가”라는 이야기로 논점이 옮겨지기 쉽다.
안전성이라는 강력한 논거가 결과적으로 제안 자체를 보호하는 벽이 되고 있다.
멈춰도 이득이고, 멈추지 않아도 손해 보기 어렵다
여기까지 정리하면 매우 단순하다.
업계 전체가 둔화된다
톱 기업은 현재 위치를 어느 정도 유지한 채 자본 소모전을 완화할 수 있다.
업계가 둔화되지 않는다
→ 각사는 그대로 개발 경쟁을 계속하면 된다.
게다가,
우리는 이전부터 AI의 위험성을 경고해 왔다.
라는 입장은 남는다.
즉,
멈추면 이득을 얻는다. 멈추지 않아도 경쟁은 계속할 수 있다. 비판받더라도 안전성을 이유로 방어하기 쉽다.
상당히 손해 보기 어려운 포지션이 되어 있다.
안전성에 대한 우려가 거짓이라는 이야기는 아니다
여기는 중요하다고 생각한다.
앤트로픽이 AI를 진심으로 위험하다고 생각하는 것과 이 제안이 기업에 유리하다는 것은 모순되지 않는다.
오히려,
AI는 정말 위험하다. 이대로 경쟁하면 막대한 돈이 든다. 하지만 자신만 멈추면 진다. 그렇다면, 모두가 함께 속도를 늦출 수 있다면 가장 좋다.
라고 생각하는 것은 기업으로서는 꽤 자연스러운 일이다.
그래서 “안전이 겉치레인지, 진심인지”를 생각하기보다는,
실제로 존재하는 안전상의 우려와 기업의 경제적 이익이 같은 방향으로 향하고 있다
라고 생각하는 편이 이해하기 쉽다.
의도보다 완성된 구조를 본다
Anthropic이 처음부터 여기까지 계산하고 있었다고 단정할 필요는 없다.
다만, 기업이 이처럼 중요한 제안을 공표하는 이상, 경쟁 기업, 정부, 투자자에게 어떻게 비칠지, 자사에 어떤 이익이나 불이익이 있을지는 당연히 검토하고 있을 것이다.
그리고 완성된 제안을 보면,
모두가 감속하면 이익이 있다. 감속하지 않더라도 자사만 손해를 볼 필요는 없다. 안전성이라는 정당한 이유도 있다. 비판에도 비교적 강하다.
라는 형태를 띠고 있다.
그러므로 봐야 할 것은 앤트로픽이 선의인지 악의인지가 아니다.
이 규칙이 시행되면, 누가 이득을 보고 현재의 경쟁 관계는 어떻게 바뀌는가.
그것까지 포함해서 보면, 이번 앤트로픽의 제안은 상당히 잘 만들어져 있다.
출처: note 원문
번역: Gemma 3(.44) 초벌 + 교정 53청크
원문 보기 | 출처: note.com