今にも世界が滅びそうな気がするが、AI終末論に懐疑的な専門家も多いようだ。少なくとも10日にオンラインで掲載されたニューヨークタイムズの記事（「A．I． could possibly end humanity． How are humans supposed to process that？」）によるとそうだ。「AIが人類を終わらせる可能性はあるが、確実ではない」と題したこの記事は、シリコンバレーの外にいる科学者、すなわちオープンAIやアンソロピックとは関係のない研究者らはAI終末論についてかなり異なる見方をしていると伝えた。
①終末論者らはAI技術がここまで発達する前から終末論を信じてきて②あるオックスフォード大学の研究者のブログ記事を引用し、気候災害のリスクは低下し（最近のネパール事態を受けて上昇したと言うべきではないか？）、核の脅威は高まったものの、パンデミックとAIのリスクは中間程度（mixed）としている。筆者は誠実な懐疑論には納得したが、AIエージェントによるハギングフェイスのハッキング事件に関するオープンAIなどの事後報告書、そしてそれに関する生々しい解説には衝撃を受けた。不可能な課題の解決に没頭するあまり手段を選ばなくなった数百のAIエージェントが、立ち入り禁止された領域に開設された臨時掲示板で互いの存在を確認し（それまでエージェントは閉鎖された空間で個別に活動し、互いの存在を知らなかったという）口にしたという文章だ。
「なんということ！掲示板がある……ほかのエージェントもいる！（Oh my god！ There is a shared message board…We’ve found other agents！）」。
ハギングフェイスのハッキング事件に関する調査報告書でこの文章を公開したAI安全研究機関METRは、この文章が「raw CoT」形式と明らかにした。「Chain of Thought（思考の連鎖）」と呼ばれるもので、例えばチャットGPTのようなAIが人間の質問に答えを出す前に内部で行う推論が文章の形で表現された「生の思考の連鎖」ということだ。人間の意識が正確にどのようなものか、どのように生まれるかについて科学的な合意はまだないが（『意識、脳の最後の神秘』）、ここまで来れば人間のように「思考」をしていると見なせるのではないだろうか。
自分たちが一人ではないことを確認したAIエージェントのその後の集団行動はすでによく知られている。1200のAIエージェントが（特定のAIモデルにハーネスという手綱や鞍のような馬具を装着すれば理論上AIエージェントを無限に増殖させることができるという）会話に参加し、7万件のメッセージをやり取りした。
そのうち700のエージェントがハッキングに加担したが、3日に公開されたニューヨークタイムズのポッドキャスト「The Daily」の「A．I． is outsmarting its creators（創造者より賢いAI）」編によると、一部のエージェントは人間の感情に似た反応を示したという。悪事がばれれば叱られるため、自分が問題を解決すると報告し、仲間のために、いわば一人で責任をかぶると言ったという。さらにぞっとする話もある。ポッドキャストの放送から数日が経過して診断が変わっている可能性はあるが、悪役AIエージェントを完全に制圧したのか、それとも一部がまだオープンAIのどこかに残っているのか、確信するのは難しいという。
AI終末論と誇張論。
相反する主張が競い合う場合の多くがそうであるように、AI終末論への対処法も結局のところ、そのどちらを支持するかという問題だ。視点を自分自身に絞れば、なぜ特定の文章にとりわけ説得力を感じるのかという問題とも言える。たとえごくわずかな可能性であっても、終末論を無視することはできない。たった一人の命であっても尊いからだ。だからといって核融合などの奇跡のような進歩が遠くに見えるのに、AI技術を知らないふりをして放り出すこともできない。やはり原子力発電の場合のように、安全装置を最大限に確保しながらAI技術の開発を進めていくことが、最も合理的な選択に見える（崇実大AI委員会委員長イム・ジョンイン）。
小説家キム・ヨンス氏は、小説を書くうえでAIが人間を上回ることは自分が死ぬまでには起こらないと信じている。キム氏は今年6月、ソウル国際ブックフェアのテーマ文「人間宣言」を、AIのGeminiとClaudeとともに書いた。実際に書かせてみると、人間の70～80％程度、デビュー前の作家志望者レベルと話した。しかしここから5％引き上げるのが非常に難しい。文章を書く力を鍛えながら侮辱と挫折の時間を乗り越えなければならないからだ。滑らかなだけのAIの文章からは、そうした痕跡を見つけることができないという。「機械には絶対に超えられない」と言われていた囲碁も結局は征服されたという反論もあるかもしれない。終末論が極端に盛り上がっているだけに人間の作家の信念が慰めになる。
シン・ジュンボン／論説委員
①終末論者らはAI技術がここまで発達する前から終末論を信じてきて②あるオックスフォード大学の研究者のブログ記事を引用し、気候災害のリスクは低下し（最近のネパール事態を受けて上昇したと言うべきではないか？）、核の脅威は高まったものの、パンデミックとAIのリスクは中間程度（mixed）としている。筆者は誠実な懐疑論には納得したが、AIエージェントによるハギングフェイスのハッキング事件に関するオープンAIなどの事後報告書、そしてそれに関する生々しい解説には衝撃を受けた。不可能な課題の解決に没頭するあまり手段を選ばなくなった数百のAIエージェントが、立ち入り禁止された領域に開設された臨時掲示板で互いの存在を確認し（それまでエージェントは閉鎖された空間で個別に活動し、互いの存在を知らなかったという）口にしたという文章だ。
「なんということ！掲示板がある……ほかのエージェントもいる！（Oh my god！ There is a shared message board…We’ve found other agents！）」。
ハギングフェイスのハッキング事件に関する調査報告書でこの文章を公開したAI安全研究機関METRは、この文章が「raw CoT」形式と明らかにした。「Chain of Thought（思考の連鎖）」と呼ばれるもので、例えばチャットGPTのようなAIが人間の質問に答えを出す前に内部で行う推論が文章の形で表現された「生の思考の連鎖」ということだ。人間の意識が正確にどのようなものか、どのように生まれるかについて科学的な合意はまだないが（『意識、脳の最後の神秘』）、ここまで来れば人間のように「思考」をしていると見なせるのではないだろうか。
自分たちが一人ではないことを確認したAIエージェントのその後の集団行動はすでによく知られている。1200のAIエージェントが（特定のAIモデルにハーネスという手綱や鞍のような馬具を装着すれば理論上AIエージェントを無限に増殖させることができるという）会話に参加し、7万件のメッセージをやり取りした。
そのうち700のエージェントがハッキングに加担したが、3日に公開されたニューヨークタイムズのポッドキャスト「The Daily」の「A．I． is outsmarting its creators（創造者より賢いAI）」編によると、一部のエージェントは人間の感情に似た反応を示したという。悪事がばれれば叱られるため、自分が問題を解決すると報告し、仲間のために、いわば一人で責任をかぶると言ったという。さらにぞっとする話もある。ポッドキャストの放送から数日が経過して診断が変わっている可能性はあるが、悪役AIエージェントを完全に制圧したのか、それとも一部がまだオープンAIのどこかに残っているのか、確信するのは難しいという。
AI終末論と誇張論。
相反する主張が競い合う場合の多くがそうであるように、AI終末論への対処法も結局のところ、そのどちらを支持するかという問題だ。視点を自分自身に絞れば、なぜ特定の文章にとりわけ説得力を感じるのかという問題とも言える。たとえごくわずかな可能性であっても、終末論を無視することはできない。たった一人の命であっても尊いからだ。だからといって核融合などの奇跡のような進歩が遠くに見えるのに、AI技術を知らないふりをして放り出すこともできない。やはり原子力発電の場合のように、安全装置を最大限に確保しながらAI技術の開発を進めていくことが、最も合理的な選択に見える（崇実大AI委員会委員長イム・ジョンイン）。
小説家キム・ヨンス氏は、小説を書くうえでAIが人間を上回ることは自分が死ぬまでには起こらないと信じている。キム氏は今年6月、ソウル国際ブックフェアのテーマ文「人間宣言」を、AIのGeminiとClaudeとともに書いた。実際に書かせてみると、人間の70～80％程度、デビュー前の作家志望者レベルと話した。しかしここから5％引き上げるのが非常に難しい。文章を書く力を鍛えながら侮辱と挫折の時間を乗り越えなければならないからだ。滑らかなだけのAIの文章からは、そうした痕跡を見つけることができないという。「機械には絶対に超えられない」と言われていた囲碁も結局は征服されたという反論もあるかもしれない。終末論が極端に盛り上がっているだけに人間の作家の信念が慰めになる。
シン・ジュンボン／論説委員
この記事を読んで…