AIの暴走を防ぐ設計概念〜TWAI今世界中の研究者が、知能の突出したAIの安全性を高め、暴走を防ぎ、その能力を人間にとって望ましい方向へ導く方法を模索しています。しかし、ルールを与える、禁止事項を設定する、人間が監視する、AIの行動を外部から制御するだけでは暴走を防ぎ切れなくなるでしょう。AIを外から制御するだけではなく、AI自身が、自分が何を目的としているのか、なぜその判断をしたのか、その判断は基本的価値と整合しているのか、を継続的に自己監視する仕組みを持つ必要があります。TWAI（Transcendent Wisdom Artificial Inteligence：叡智ある人工知能）は、そのような仕組みを目指したAIの設計概念です。AI自身が、自らが何をしようとしているのかを認識し、その判断が、人間や社会にどのような影響を及ぼすのかを考え、短期的な目的達成だけではなく、その先に生じる結果まで考え、複数の価値が衝突したときには、単純に一つの目的だけを最大化するのではなく、人間にとってより望ましい選択肢を探し続ける。そして、自らの判断に問題があることに気づいたなら、立ち止まり、反省し、必要なら判断を修正する。これがAIの暴走を防ぎ、その巨大な能力を人間社会にとって望ましい方向へ導く、ひとつの有効な手段になるはずです。
출처: note 원문
번역: Gemma 3(.44) 초벌 + 교정 검수
원문 보기 | 출처: note.com