人工知能（AI）開発の自動化が進行され、数年かかる技術進歩がわずか数カ月に圧縮される「知能爆発」が起きる可能性を世界の主要AI研究者が提起した。その結果、極端な場合、人類の疎外や滅亡につながりかねないという警告も出てきた。

主要AI研究者22人は、英ケンブリッジ大学AI科学・政策プログラム（CASP）を通じて発表した共同論文「AI研究開発の自動化が知能爆発を触発するならば」でこうした懸念を示し、政策対応を促した。


この論文にはAI界の大物として知られるトロント大学名誉教授のジェフリー・ヒントン氏やモントリオール大学教授のヨシュア・ベンジオ氏をはじめとする学界の識者に加え、オープンAI最高科学者のヤクブ・パホツキ氏、アンソロピック共同創業者のジャック・クラーク氏、マイクロソフト最高科学責任者（CSO）のエリック・ホービッツ氏、メタAI研究担当副社長のドーン・ソング氏ら、主要AI企業の現役研究陣も参加した。


彼らは現在、巨大テック企業でAIモデルの開発作業をAIに任せる自動化速度が急加速していると指摘した。

一例として、アンソロピックの場合、開発陣が承認したコードのうちAIが作成した割合が昨年1月の1桁から今年5月には80％以上に急増したという。人間は監督だけしてAIが自律的に進めた研究開発の割合も3月には1％にすぎなかったが、先月には26％に増えた。

研究陣はこのように技術発展が速くなれば数カ月かかっていた複雑なAI研究開発プロジェクト全体が2年以内に完全に自動化され、AIの再帰的自己改善（RSI）の連鎖が完成されれば爆発的な技術加速が起きるだろうと予想する。

こうした知能爆発は技術革新を大きく繰り上げたり、新薬を発見したりするなど肯定的な効果を期待できるが、社会が適応できる限界を超える危険も招くと彼らは懸念する。

論文はこれに伴い「最も極端な場合、AIシステムに対するコントロールを失えば人類の疎外や滅亡につながりかねない」と予想した。

研究者はこれを防ぐための政策的対策が必要だとしながら、各国政府がAI企業に対し研究開発自動化指標などの報告を義務付けるべきとの意見を出した。

また、原子力規制委員会や通貨監督庁のような機関がAI企業に常駐監視官を配置すべきと提案した。安全基準がクリアされなければAI研究開発作業負荷を調節したり一時中止できる統制装置を用意しなければならないとも呼びかけた。

彼らは「政策立案者は意味ある措置ができる機会が消える前に状況を把握して調整体系を構築し適応能力を拡大する行動にただちに出なければならない」と促した。