# [AI 관련] 최근 뉴스에서 자주 보이는 ‘AI 개발 속도를 늦춰야 한다는 제안’에 대해 이렇게 생각해 보았다 + 생성형 AI 답변 일부 인용 > https://bookfactory.kr/board/ai-tech/18207 > 게시판: AI·머신러닝 > 작성자: admin > 작성일: 2026-09-23T21:20:53.417Z --- ![見出し画像](https://assets.st-note.com/production/uploads/images/315977167/rectangle_large_type_2_6025c32cd1e2f8db034b847b28dd5bb1.png?width=1280) 미국의 AI 개발·서비스 제공 기업 대표와 기술자 등이 잇달아 내놓는 'AI의 향후 안전성에 대한 우려'에 관한 제언. 최근에는 지상파 방송에서도 특집으로 다뤄지거나, 여러 YouTube 프로그램에서도 다수의 AI 전문가가 게스트로 출연해 다양한 논의를 펼치고 있었다. 내가 시청한 YouTube 프로그램 중 하나. 자극적인 제목! 이것 외에도 몇 개의 프로그램과 기사를 메모를 하고 화면 스크린샷을 찍으면서 시청했다. 나와 같은 개인 사용자에게는 그다지 관계없는 장대한 주제이지만, 역시 위기관리라는 관점에서 관심이 있어 흥미롭게 보았다. 내용은 다방면에 걸쳐 있으며, 특히 AI의 기술적인 이야기는 어려운 내용도 있어 어디까지 정확히 이해했는지는 모르겠지만, 나름대로 느낀 점은 다음과 같다. ◆ 지금과 같은 속도로 AI 개발을 계속해 나간다면, 머지않아 인간이 AI를 제어·통제하는 것은 어려워질 것이다. 진화한 AI가 독자적인 판단으로, 그것도 인간이 상상조차 할 수 없는 고도의 방법으로 인간에게 막대한 피해를 미치는 어떠한 행동을 집단적으로 일으킨다면, 극단적으로 말하면 인류 멸망으로 이어질 위험이 있다. AI의 안전성을 확보하기 위해서라도 지금부터 모두가 함께 AI 개발 속도를 제한해야 한다. 이 사고방식(어디까지나 나의 이해일 뿐이지만)에 대해서는 이견이 없다. 이전에 썼던 '페일세이프' 사상과 밀접하게 연결되어 있다. 안전과 보안을 중시하고, 가까운 미래의 위기 회피를 위한 당연한 생각이다. 얼마 전, 생성형 AI를 활발히 활용하는 기업 지인이 말했는데, 개인 수준의 생성형 AI만으로도 1년 전에는 할 수 없었던 일이 이제는 쉽게 할 수 있게 되었다며, 그 진화 속도가 놀랍다고 했다. 자, 이 어려운 주제에 대해 당연히 생성형 AI(ChatGPT)에 제 생각을 정리한 프롬프트를 작성하여 질문해 보았다. 제 생각과 생성형 AI의 답변은 =◇로 구분하여 기술한다. (생략)은 제 판단으로 생략한 것으로, 실제로는 그 부분에도 답변이 있었다. ◇AI 안전론에서는 때때로 AI=통제되는 측, 인간=통제하는 측이라는 구도가 암묵적 전제가 되어 있습니다. 그런데 역사를 보면, 인간 자신도 결코 ‘안전한 통제 장치’는 아닙니다. 전쟁~(생략)~집단적 열광, 조직 내 눈치 보기……. 그리고 그 다음에는 다음과 같은 문구로 답변했다. ◇ 게다가 골치 아픈 것은 인간이 단순히 '틀리는' 것이 아니라, '자신이 옳다고 생각하면서 틀린다'는 점입니다. 맞아, 바로 그거야! 하고 나도 모르게 PC 화면을 보며 중얼거리고 말았다(웃음). 게다가 ◇~생략~ “인간도 AI가 보기에는 상당히 신뢰할 수 없는 존재가 아닐까”라는 문제입니다. 인간에게는 (주: 실제 답변에서는 하나하나 단락을 나누어 목록으로 정리) ·감정 ·욕망 ·공포 ·편견 ·선입견 ·집단심리 ·권력욕 ·이해관계 ·오인 ·피로 ·망각이 있습니다. 그리고 무엇보다 자신의 판단이 틀렸을 가능성을 인정하려 하지 않는 특성이 있습니다. 위의 ‘감정’이나 ‘욕망’, ‘이해관계’를 좀 더 구체적으로 들면 질투, 원한, 금전욕, 성욕, 정복욕, 타인에 대한 중상·비방 등이다. 거짓말이나 은폐가 때로는 필요한 상황도 있지만… 이것들은 인간의 이른바 어두운 이면의 요소이다. 소설(특히 미스터리 소설)이나 영화, 연극, TV 드라마 등의 소재로서는 빼놓을 수 없는 것이고, 엔터테인먼트로는 즐길 수 있는 것이지만, 개인이 실제로 사람의 이러한 면과 마주하면 정신적으로 꽤 힘든 것도 사실이다. 이에 이어 생성 AI는 자신들의 단점도 제대로 짚고 있다. 이 부분이 공정해서 좋다(웃음). 이런 점까지 프로그래밍되어 있는 것이겠지만… ◇ AI에도 물론 다른 종류의 문제가 있습니다. (주: 실제 답변에서는 하나씩 단락을 나누어 목록으로 정리) • 환각 • 학습 데이터의 편향 • 목적 설정의 문제 • 보안 취약성 • 예측 불가능한 동작 • 악용 등입니다. 따라서 “AI는 위험하므로 인간이 감시한다”만으로는 충분하지 않습니다. “감시하는 인간도 틀린다”라는 이중 구조를 고려해야 합니다. 기억컨대, "AI에게 인간의 감정 부분을 학습시켜서는 안 된다"고 주장했던 미국의 기술자가 있었던 것 같은데, 정말 그 말이 맞다고 생각한다. 즉 인간의 좋은 부분(긍정적인 일이나 위험 회피 등을 위한 상상력, 사물을 만들어내는 창조력, 평화에 대한 염원, 아름다움에 대한 감동, 친절함, 다툼을 피하는 지혜, 서로 돕는 마음, 예의, 존경, 애정, 잘못했을 때 솔직히 반성하는 마음 등), 상식적인 도덕을 학습시키는 것은 괜찮지만, 앞서 말한 이른바 인간의 어두운 면, 더 나아가 '나쁜 꾀'까지 학습시킨다면 이는 위험 그 자체에 다름없다. AI가 위험한 기계가 되어 폭주로 치닫는 것은 명백하다. 무엇보다 현실 사회를 보면, 인간이 지닌 '나쁜 꾀'야말로 가장 무서운 것이다! 생성형 AI의 답변에는 없던, 저 자신의 감상을 말하자면… > > > “가까운 미래의 AI 폭주 위험을 생각하여 지금부터 안전·위기관리 대책을 마련하고 조금씩이라도 실행해 나가는 것(이번 개발 속도 둔화도 그중 하나일 것이다)은 확실히 중요하지만, 애초에 지금 세계에서도 일본에서도 인간 사회 자체가 폭주하고 있지 않은가. 그것을 도대체 어떻게 멈출 것인가?” > 이다. 즉 이번 논의의 전제가 되고 있다고 내가 생각하는 '인간은 이성을 가지고 스스로를 통제할 수 있다'라는 착각이야말로, 그 자체가 오만하기 그지없는 리스크 중 하나가 아니겠는가. 에도코 식으로 말하자면 '어림도 없는 소리'다. ChatGPT는 다음과 같은 결론으로 답변을 마무리하고 있다. > > > ◇ “생성형 AI를 인간이 통제한다”는 발상만으로 충분한가. 인간 자신도 항상 올바른 판단을 내리는 존재는 아니다. AI도 틀린다 → 인간도 틀린다 → AI와 인간이 결합하면 오판이 증폭될 가능성이 있다 → 그렇기 때문에 ‘사람의 확인’뿐만 아니라 조직 차원에서 사고를 방지하는 체계가 필요하다 > 이것 역시 매우 공감되는 생각이다. 아마 내가 제시한 프롬프트 내용이 논리적이고 구체적인 포인트가 명확히 제시되어 있었기에 좋은 답변을 이끌어낼 수 있었던 것 같다(살짝 자랑). 조직 차원에서 사고를 방지하기 위한 구체적인 방법이나 핵심 사항에 대해서는, 다시 프롬프트를 보내 보고 싶다. **출처:** [note 원문](https://note.com/2021tehira/n/nf32e1c8cbb1c) *번역: Gemma 3(.44) 초벌 + 교정 21청크* [원문 보기](https://note.com/2021tehira/n/nf32e1c8cbb1c) | 출처: note.com