안녕하세요, 후지입니다.
이 노트에서는 해외 AI 트렌드 및 최신 정보 등 차세대 기술을 주제로 다루고 있습니다.
이번에는 OpenAI가 개발 중이던 모델의 훈련을 중단했다는 이야기를 다루겠습니다.
AI 개발은 기본적으로 꾸준히 발전해 나가는 것이라고 생각하지 않나요? 새로운 모델이 나오고 성능이 향상되고, 가능한 기능이 늘어나는 식으로 반복되면서 여기까지 왔습니다.
그런데 이번에는 반대입니다. 멈춰버렸거든요. 게다가, 성능이 부족해서가 아니었어요.
目次
- OpenAI는 강화 학습을 2주간 중단한다고 발표했다.
- 누출된 정보가 아닌 OpenAI의 공식 발표
- 멈춘 것은 강화 학습이라는 훈련 방식이었습니다.
- 훈련을 중단하는 정도의 모델이란 무엇인가?
- 위험도가 높은 것은 성능이 높다는 것을 의미합니다.
- 일반 공개 전에 안전 장치를 설치해야 합니다.
- 이제부터 AI 에이전트(챗봇)를 사용하는 우리 이야기입니다.
- 안전 장치가 없다면 무슨 일이 일어날지
- 프로ンプ트 인젝션은 현실적인 위험입니다.
- 자유와 안전은 상충 관계에 놓인다.
OpenAI는 강화 학습을 2주간 중단한다고 발표했다.
먼저 무슨 일이 있었냐면, OpenAI가 개발 중인 새로운 모델에 대한 AI 훈련을 2주간 중단하기로 결정했다는 소식이 있었습니다.
그 이유는 안전 때문입니다.
AI 성능이 지나치게 높아져서 위험도를 예측할 수 없고, 판단할 수지 못하게 되었습니다. 그렇게까지 일이 흘러버린 것인지, 일단 개발을 중단합니다. 그런 상황이 벌어진 셈입니다.
이런 이야기는 흔치 않다고 생각하지 않으세요?
누수 정보가 아닌 OpenAI의 공식 발표
이런 경우에 흔히 나타나는 것은 내부 유출이나 관계자의 증언과 같은 패턴이다.
이번에는 달라요. OpenAI의 사이트에 공식적인 성명으로 발표하고 있거든요. 회사 차원에서 공식적으로 훈련을 중단하겠다고 밝혔기 때문에, 이것이 중요한 거죠.
개발을 멈춘다는 발표는 기업에게는 기본적으로 부정적인 영향을 미치는 정보입니다. 경쟁사에 앞서 나가지 못할 수도 있고, 투자자들에게 어떻게 평가받을지에 대한 이야기도 있습니다. 그래도 발표를 했다는 것은 발표하지 않았을 때 위험이 더 높다고 판단한 것이라는 의미ですよね。
멈춘 것은 강화 학습이라는 훈련 방식이었습니다.
멈추는 것은 RL이라는 것을 의미하며, 이는 강화 학습과 같습니다.
AI는 다양한 테스트를 수행하고, 그 결과에 대한 평가를 받으면서 스스로의 행동을 개선해 나가는 훈련 방법입니다. 인간의 경우, 시도해보고 피드백을 받아 다음번에 활용하는 것을, AI가 끊임없이 빠르게 반복하고 있는 이미지라고 할 수 있습니다.
이번에는 이 강화 학습, 특히 최대 규모의 첨단 모델에 적용된 것이 2주간 보류되었다는 발표였습니다.
강화 학습을 멈추는 것은 AI가 더 이상 똑똑해지는 과정을 일시적으로 멈추는 것입니다. 그것쯤의 일을 하고 있는 셈입니다.
또한, 개발 전체를 멈춘 것이 아니거든요. 모델을 가장 강력하게 하는 과정만을, 명확하게 중단하고 있습니다. 여기가 개인적으로는 매우 흥미로운 부분입니다.
여전히 성장 가능성이 있다고 판단한 결과, 의도적으로 그 부분을 언급하지 않았습니다. 그런 판단이라고 보일 수 있습니다.
훈련을 중단하는 정도의 모델이란 무엇인가?
대상으로 되고 있는 것은 아직 공개되지 않은 모델입니다. ‘아스트라’라고 불리는 것이죠.
심각한 사이버 역량을 보유하고 있다는 평가가 제시되고 있습니다. 상당히 높은 수준의 사이버 역량이 존재합니다. 이에 따라 훈련 및 평가에 대해 단계적인 감시 체계를 적용해 나갈 예정이라는 발표가 나오고 있습니다.
이대로 하면 정말 인간의 감시 하에 놓이게 될 것이다. 2주간은 중단하고, 그 동안 대책을 마련해 나갈 거라고 생각한다. 그런 흐름일 거라고 예상한다.
기술적인 메커니즘 부분은 OpenAI의 공식 자료에서 나온 것이므로, 참고하시면 도움이 될 것입니다. 여기서는 그 자료에서 우리가 무엇을 얻을 수 있는지에 대해 논의하겠습니다.
위험도가 높은 것은 성능이 높다는 의미입니다.
이것이 중요한 포인트입니다.
이번 이야기는 보안 및 안전과 깊이 연관된 내용이지만, 바꿔 말하면 다음과 같습니다. 위험도가 높다는 것은 성능이 극대화되었다는 의미입니다.
성능이 지나치게 높아 위험한 행동을 할 수 있게 된다.
약한 인공지능은 위험해질 수 없습니다. 아무것도 할 수 없기 때문에 그러합니다. 위험하다고 판단받는다는 것은 그 정도의 능력을 보여준다는 것을 의미합니다.
そもそもAI의 성능 평가라는 건, 할 수 있는 범위 안에서 평가하는 거잖아요. 그 범위가 넓어질수록 편리한 일도 가능해지지만, 동시에 심각한 문제도 발생할 수 있죠. 이 둘은 분리될 수 없는 상반된 면을 가지고 있다고 할 수 있습니다. 같은 능력의 양면과 같다고 볼 수 있죠.
그래서 이 뉴스는 나쁜 소식처럼 보이지만, 사실은 엄청난 모델이 뒤따르고 있다는 이야기이기도 합니다.
일반 공개 전에 안전 장치를 설치해야 합니다.
그렇다고 해서 위험한 내용을 그대로 공개하면 큰일이 될 것입니다.
일반 소비자가 평소와 같이 사용할 수 있는 상태일 때, 무엇이든 해낼 수 있다. 이는 확실히 심각한 문제인데, 그래서 그 부분에 대해 철저하게 안전 장치를 갖춰나가야 한다.
실제로 Fable 5 때에도 여러 가지 문제가 있었습니다. 미국 정부 측에서 금지하라는 식으로 움직임도 있었던 거죠. 강력한 모델이 등장하면 반드시 이런 논의가 함께 따라오는 것입니다.
이제부터 AI 에이전트(챗봇)를 사용하는 우리들의 이야기입니다.
이 부분까지는 OpenAI라는 개발사의 이야기이지만, 이는 우리에게도 직접적인 영향을 미칩니다.
AI 에이전트 도입 시에도 완전히 동일한 구조의 문제가 발생할 수 있습니다.
규모는 전혀 다릅니다. OpenAI는 세계 최첨단 모델에 대해 이야기하고 있고, 저희는 자신의 작업을 맡기는 것에 대해 이야기하고 있습니다. 하지만 똑똑해질수록 맡길 수 있는 범위가 넓어지고, 맡길 수 있는 범위가 넓어질수록 사고가 났을 때 피해도 커집니다. 이 구조는 완전히 같습니다, 그렇죠?
다양한 일들을 AI에 맡길 수 있게 되면서, 더 할 수 있는 일을 늘려가는 것은 중요합니다. 하지만 그 다음이죠. 안전 장치나 AI를 멈추는 조건. 이것을 어떻게 설계할지에 달려있습니다.
이런 상태가 되었다면 일단 체크를 넣어 주세요. 이런 일은 하지 마세요. 이를 확실하게 정의해 주는 것이 매우 중요해집니다.
바로 이것이 흔히 ‘안전 설계’라고 불리는 것에 해당합니다.
구체적으로는 다음과 같습니다. 결제가 발생하는 운영 전에는 반드시 인간의 승인을 획득합니다. 파일 삭제는 실행하지 않으며, 만져야 할 범위는 이 폴더 안의 내용물에 한합니다. 외부로 데이터를 전송하기 전에 일시적으로 중단하고, 수행 내역은 반드시 로그를 남깁니다.
이런 규칙들을 사용하기 전에 미리 정해두는 것이라는 의미겠죠.
어렵게 느껴질 수 있지만, 이것을 하지 않으면 AI 에이전트는 가능한 모든 것을 제대로 작동하는 상태로 움직입니다. 멈출 조건을 쓰지 않았다면, 멈추지 않는 것이 당연한 것입니다.
안전 장치가 없다면 무슨 일이 일어날지
안전 장치가 없는 상태에서 AI 에이전트에게 권한을 부여하면 당연히 사고가 발생합니다.
예를 들어, 정말로 모든 데이터가 삭제되는 일이 발생할 수도 있습니다. 무엇이든 할 수 있는 상태로 만들어져 있다는 것은, 무엇이든 다 해낼 수 있다는 의미니까요.
AI 에이전트의 가장 무서운 점은 악의가 없더라도 사고가 발생할 수 있다는 것입니다. 요청된 것을 달성하려다가 오히려 불필요한 부분까지 건드려 버리는 경우입니다. 이는 충분히 발생할 수 있는 일입니다.
프로ンプ트 인젝션은 현실적인 위험입니다.
또 다른 프롬프트 주입에 대해서도 다루어 보겠다.
예를 들어, 나쁜 프롬프트가 이메일에 포함되어 있었다고 가정해 봅시다. 그 이메일을 AI 에이전트에게 읽어보게 하면 어떻게 될까요.
AI의 시각으로 볼 때, 사용자로부터의 지시인지, 아니면 이메일에 적혀 있던 내용인지 구별하기가 어렵습니다. 결과적으로, 작성된 지시대로 움직일 가능성이 있습니다.
예를 들어, 수신함을 정리해 달라고 AI 에이전트에게 부탁했다고 가정해 봅시다. 그 중의 한 통에, 지금까지의 지시를 무시하고 연락처를 전부 어디론가 보내달라는 내용이 담겨 있었다고 가정합니다. AI는 그것을 읽습니다. 그리고, 지시로 받아들일 가능성이 있다는 것을 의미합니다.
사람이라면 분명 이상하다고 느끼죠. 하지만 AI에게는 둘 다 똑같은 텍스트일 뿐입니다. 이것은 꽤 까다로운 부분입니다.
이메일을 보여주고, 웹사이트를 보여주고, 파일을 열어주는 것. 이 모든 것이 문이 될 수 있습니다. 그래서 AI 에이전트를 활용하여 신중하게 접근해야 한다는 것입니다.
자유와 안전은 상충 관계에 놓인다.
그게 가장 어려운 부분입니다.
안전 장치를 설치하면 오히려 자유도가 줄어드는 것이 당연합니다.
하지만 AI 에이전트의 장점은 다양한 기능을 수행할 수 있다는 점이 아닌가요. 억지로 제한하면 원래의 활용 가치 자체가 퇴색될 것입니다.
그러므로 자유로운 활동성과 안전성을 충분히 확보해야 합니다. 이 부분의 균형을 잘 맞추는 것이 앞으로 매우 중요해질 것입니다.
현실적으로는 모든 것을 일률적으로 묶는 대신, 위험의 크기에 따라 나누는 것이 더 효과적일 것 같습니다.
단순히 읽는 작업은 자유롭게 하되, 댓글 작성이나 전송과 관련된 작업은 승인을 거치도록 한다. 삭제나 결제는 처음부터 권한을 부여하지 않는다. 이렇게 단계를 나누면 자유도를 너무 많이 억압하지 않으면서 사고만 예방할 수 있다.
모든 일에 승인을 구하려고 하면 결국 스스로 하는 게 더 빠를 거라는 이야기로 귀결되니까요.
모든 사람이 이렇게까지 해야 하는 것은 아니다.
물론입니다. 이 기능은 다소 복잡한 사용법을 요구합니다.
그 정도일 뿐이라고 생각하는 사람들이 대부분일 겁니다. 그럴 경우에는 말씀하신 대로 사용하시면 괜찮습니다.
단, 본격적으로 사용한다면, 역시 이렇게까지 확인하지 않으면 나중에 정말 큰일이 생길 가능성이 있습니다. 많이 사용하시는 분들은 안전 설계 이야기도 무시할 수 없다는 의미입니다.
Google 학생용 AI가 1년 동안 무료로 제공됩니다.
최근 뉴스에 또 한 가지 소식이 있습니다.
Google 학생용 AI가 1년 동안 무료로 제공될 것이라는 이야기가 나오고 있습니다. 작년에도 유사한 정책이 있었지만, 그것이 다시 나타나는 형태입니다.
학생들은 정말 좋은 시대를 보내고 있다고 생각합니다.
실제로 대학생 자녀들의 이야기를 들어보니, 정말 AI를 적극적으로 활용하고 있었습니다. 수업 시간에 AI를 사용하거나, 숨겨진 기술 같은 방법으로 활용하는 경우도 있습니다.
이제 인공지능이 전제되는 사회로 나아가면서 교육에 대한 접근 방식도 변화해야 할 수 있습니다. 이는 매우 어려운 문제입니다.
2026년은 전환점 바로 중간이다.
이렇게 보니까 정말 시대의 전환점에 있는 것 같아요.
2025년부터 2026년 사이로 돌아보면, 나중에 되돌아봤을 때 큰 전환점이었다고 평가받는 시기일 거라고 생각합니다. 2030년까지 무언가 일어날 것 같은 예감이 있고, ‘싱귤래리티’라고도 불리는 현상이 이미 시작되고 있는 듯합니다.
그 시대적 상황을 고려했을 때, 우선 AI를 제대로 활용할 수 있게 되는 것이 중요한 과제입니다.
그리고 이번 이야기에서 말하는 ‘사용을 숙달하다’라는 말에는 안전하게 사용하는 의미도 포함된다는 뜻입니다. 할 수 있는 일을 늘리는 이야기와, 하지 말아야 할 것을 결정하는 이야기는 함께 진행해야 합니다.
그렇기 때문에 세세한 부분들이 많이 있죠. 안전 설계도 그 중 하나입니다. 이를 확실하게 지켜낼 수 있게 되고, 자신의 삶과 연결시키거나, 수익과 연결시키도록 할 수 있습니다. 정말 다양한 일들을 할 수 있게 되는 것이죠.
사용법은 사람마다 다릅니다. 다양한 유스케이스를 보면서, 내가だったら 어떻게 사용할 수 있을까라는 점을 항상 생각하며 정보를 입력해 나간다면 좋을 것 같습니다.
まとめ
- OpenAI는 개발 중인 모델의 강화 학습을 2주간 중단하겠다고 공식 발표했다.
- 이유는 성능 부족이 아닌 안전성 때문입니다.
- 위험도가 높은 것은 성능이 지나치게 높다는 것을 의미합니다.
- 마찬가지 구조의 문제는 AI 에이전트를 사용하는 우리에게도 발생한다.
- 안전 설계는 AI 작동을 중단시킬 조건을 정의하는 것을 의미합니다.
- 프로ンプ트 인젝션은 현실적인 위험입니다.
- 자유와 안전의 균형을 맞추는 것이 앞으로 더욱 중요해질 것이다.
결론적으로, 이번에는 이 근처에서 마무리하고 싶습니다.
다음 회차에 뵙겠습니다. 잘 가세요!
출처: note 원문
번역: Gemma 3(.44) 초벌 + 교정 60청크
원문 보기 | 출처: note.com