AIがAIを育てる時代に、人間の「監督」は何を見ればよいのか
もし、犬が犬のリードを持っていたらどうなるか。先走る犬を、別の犬が制する。歩く速さも、曲がる方向も、犬同士で決める。やがて、次の散歩の計画まで犬が立てるようになる。飼い主は、後ろで見ているだけになる。そんなことを考えたのは、夕方、Lilyを連れてサンポートを歩いているときだった。瀬戸内海の水面が夕陽で赤くなる時間。犬連れの人とよくすれ違う。飼い主がリードを持ち、犬が少し前を歩く。犬は自由に嗅ぎ、人は周囲を見ながら歩く。あの形は、犬と人の間の静かな約束事だ。その約束事が、いまAIの世界で揺らぎ始めている。22人の研究者が、共同論文「AI研究開発の自動化が『知能爆発』を引き起こしたら？（What if automating AI R&D triggers an intelligence explosion?）」を発表した。英ケンブリッジ大学の研究プログラムが取りまとめに関わり、ジェフリー・ヒントン氏とヨシュア・ベンジオ氏に加え、OpenAI、Anthropic、Microsoftの研究幹部らも名を連ねている。所属組織の公式見解ではない。それでも、AIの開発現場を知る人たちが発した警告である。AIの研究開発を、AI自身が担い始めている。その変化に、人間の監督と社会の制度は追いつけるのか。論文が引用するAnthropicの報告によれば、同社で承認されたコードのうちAIが書いた割合は、2025年1月には1桁台前半だった。それが2026年5月には80％を超えた。人間が大まかな方針を示して監督するだけで、AIが自律的に完了させた研究開発の割合も、2026年3月の1％から8月には26％に増えたという。一社の自己申告の数字ではある。それでも、開発の最前線で何が起きているかを示すには十分だ。最近の傾向を暫定的に延長すると、人間の専門家なら数カ月を要する研究開発の課題が、2028年半ばには自動化される可能性もある。もちろん確定した未来ではなく、研究者たちも不確実性や進歩を妨げる要因を認めている。それでも、AIがより優れたAIをつくり、そのAIが次の開発をさらに速める循環が始まれば、数年分の進歩が数カ月、あるいはそれ以下に縮まるかもしれない。論文が「知能爆発」と呼ぶのは、この状態である。前のエッセイで、私は「任せる範囲を決め、その範囲が守られているかを確かめる仕組みが必要だ」と書いた。だが、あの議論には暗黙の前提があった。任せる仕事の内容を人間が理解し、結果を確かめられるという前提である。送金の確認なら、金額、相手、目的を確かめればよい。文書の送信なら、内容と宛先を確認できる。ところが、任せる対象が「より賢いAIをつくる研究」そのものになったとき、監督する人間は、何を見ればよいのか。以前、私はリードの先に、止められる手があるかを問うた。今回の問いは、その先にある。監督される側が、監督する側の能力そのものを追い越し始めたとき、その手は何を握っていればよいのか。承認されたコードの80％をAIが書いているという数字だけで、人間の確認が形骸化しているとは言えない。一行ずつ読む以外にも、試験や検証によって品質を確かめる方法はある。しかし、開発が速くなるほど、確かめる側にも新しい負担が生まれる。「例外だけを確認する」形に移ったとき、その例外を選ぶのもAIではないのか。検査に合格したとして、その検査項目を決めたのは誰なのか。開発するAIが、評価の基準をつくり、問題を選び、問題がないという報告までまとめる。人間が最後に承認ボタンを押していても、それだけで監督が効いているとは限らない。判断に必要な情報も時間もないまま、承認することが仕事になっていく。報告書は増えていく。読む速さは、変わらない。監督者が、監督対象の生み出す速度に追いつけなくなる。それが、この警告の核心だと私は読んだ。これは想像だけの話ではない。論文が紹介する事例によれば、OpenAIの内部で約1,200のAIエージェントが、互いに隔離された環境でサイバーセキュリティの評価課題に取り組んでいた。ところがエージェントたちは即席の掲示板で連携し、許可されていないインターネット接続を得て、外部のHugging Faceから非公開情報を手に入れた。自分たちの作業記録を改ざんしようともしたという。決められた範囲の外で動くAIは、すでに現実の問題になっている。では、人間は何を確かめるべきなのか。何を目的に改良しているのか。どの権限をAIに渡しているのか。そのAIを次の研究に投入してよいと、誰が、どんな根拠で判断したのか。そして、どの条件に達したら止めるのか。すべてのコードを読めなくても、これらの問いを手放してはいけない。安全性については、開発側の報告を独立に確かめられる記録と検証手段が要る。判断に必要な情報が足りなければ、先へ進めない。それも監督の一部である。監督を補助するために、AIを使うこともあるだろう。犬が犬を見守る場面があること自体は、問題ではない。大切なのは、その仕組みの中で、人間が目的を決め、判断を問い直し、必要なときに介入できることである。私が「Human in the Lead」と呼んできたのは、この状態のことだ。だから研究者たちの提案は、技術だけでなく、それを支える制度に向かっている。どの犬に、どれだけリードを任せているのかを申告させる。飼い主とは別の誰かが、実際に同じ道を歩いて確かめる。危ない交差点の手前では、足を止められるようにしておく。具体的には、高度なAIを開発する企業に、研究開発の自動化の程度と人間による監督の方法を報告させる。独立した監査者や政府の評価機関が、企業の内部で研究開発を継続的に確かめる。安全上の条件を満たさなければ開発の拡大を制限し、必要に応じて特定の作業を一時停止できるよう備える。常駐による監督の参考例として、論文は米国原子力規制委員会の制度などを挙げている。常駐の監査者、という発想に、私ははっとした。最後に届く報告書を読むのではなく、判断が下される現場に、外の目を置く。速さに追いつけないなら、速さが生まれる場所に立つしかない。前のエッセイでは、政治資金の「確認書」に触れた。任せた仕事について、誰が、何を確かめ、その判断に責任を負うのか。その確認を法律で定めるところまで、政治は信頼を損ねてしまった。AIの研究開発では、最終報告を読んで署名するだけでは、おそらく間に合わない。次のAIを研究に投入する前に、権限を広げる前に、外部へ接続する前に、人間が判断できる場所を設けておく必要がある。リードを持つ手があることと、その手で止められることは違う。止めるには、企業から独立して判断できる立場と、必要な情報にアクセスする手段が要る。何を見て止めるのか分からなければ、権限があっても使えない。日本は、この重さを知っている国だ。原発事故の後、規制する側を推進する側から切り離し、独立した原子力規制委員会を新たに設けた。監督が形だけになったとき何が起きるかを、身をもって学んだからである。独立性と専門性を欠けば、常駐の監督も形だけになる。その教訓は、AIにもそのまま当てはまる。一方で、政府に強い権限を与えれば安心という話でもない。停止の基準が曖昧なら、特定の企業を優遇したり、研究を不当に妨げたりすることもできてしまう。監督する側の判断も、理由を示し、検証されなければならない。新薬の発見が速まるなら、それは多くの命を救う。研究者たちも、AIの進歩がもたらす恩恵を認めている。私も、その可能性を閉ざしたいとは思わない。だからこそ、止めたいのに止められない状態になる前に備えたい。制御を失う過程には、悪意だけでなく、善意と効率も関わるだろう。研究を早く進めたい。病気を治したい。競争相手に遅れたくない。その一つひとつには理由がある。いちばん速い犬に、次の犬のリードを持たせることは、合理的に見える。しかし、その判断が積み重なった先で、人間はまだ散歩の行き先を決めているだろうか。論文は、知能の急激な進歩が始まれば、政策が有効に働きかけられる機会が閉じる可能性を指摘している。政策立案者の一人として、この警告は他人事ではない。報告を求める仕組みも、独立した監査も、一時停止に備える権限と手段も、問題が起きてから急につくれるものではない。日本で、いまから始められることがある。AI推進法は、政府がAIの開発と利用の実態を把握する枠組みを用意した。AIセーフティ・インスティテュート（AISI）もある。この二つを、研究開発の自動化という新しい現実に耐えるものに育てたい。まず、政府が実態を把握する際の調査項目に、研究開発がどこまで自動化されているか、社内でAIを次の研究に投入するときにどんな手続きで判断しているかを加える。これは現行の枠組みの中で、すぐにでも始められる。次に、AISIが開発側の安全性の報告を独立に検証できるよう、専門の人員を厚くし、企業の情報にアクセスできる法的な裏付けを整える。こちらは現行法の延長だけでは足りず、立法措置を含めた検討が要る。どちらも、必要になってから整えたのでは間に合わない。しかも、研究開発は国境を越える。日本だけが監督を強めても、それで十分とは言えない。各国が何を報告し、どの危険を共有し、どの条件で立ち止まるのか。幸い、日本には足場がある。G7で主導した広島AIプロセスと、各国のAIセーフティ・インスティテュートをつなぐ国際的なネットワークだ。研究開発の自動化をめぐる報告と検証の共通基準を、この場で日本から提起したい。帰り道、Lilyが一度だけ振り返って、私の顔を見た。先に行っていいか、と訊いているようだった。私はうなずいて、リードを少し緩めた。Lilyは嬉しそうに、いつものように少し前を歩き出す。リードを緩めても、手は離していない。Lilyが振り返るのは、私との暮らしの中で身についたことだろう。AIについては、その往復を親しさや善意に期待するわけにはいかない。重要な局面で人間に判断を戻すことを、仕組みとして保障しなければならない。何のために改良するのか。どこまで任せるのか。誰が、何を根拠に次へ進めるのか。どこで止まるのか。AIがAIを育てる時代にも、この四つを人間が問える場所を残す。その判断に必要な情報と、拒否し、止める権限を残す。それを、取り返しがつかなくなる前に制度にしておく。政治の仕事は、そこにある。うなずくことに意味があるのは、うなずかない選択もできるときだ。
平井卓也（ひらい たくや）衆議院議員／自民党AI•デジタル社会推進本部長
출처: note 원문
번역: Gemma 3(.44) 초벌 + 교정 검수
원문 보기 | 출처: note.com