最近、体調不良や気になる症状を感じた際に、生成AI（人工知能）チャットボットに病気の相談をするケースが増えている。しかし、現在商用化されているAIモデルの大半が悪意のある攻撃に対して無防備な状態に置かれており、誤った治療を勧める危険性が高いとして注意を呼びかける声が上がっている。

ソウル峨山（アサン）病院泌尿器科のソ・ジュンギョ教授と情報医学科のチョン・テジュン教授、仁荷（インハ）大学病院放射線科のイ・ロウン教授による研究チームは、医療用大規模言語モデル（LLM）がプロンプトインジェクション攻撃に94％以上の割合で脆弱であることを確認したと、5日に明らかにした。プロンプトインジェクション攻撃とは、ハッカーが生成AIモデルに悪意のある命令文（プロンプト）を挿入し、本来の意図とは異なる動作をさせるよう誘導するサイバー攻撃を指す。


研究チームの分析によると、最上位AIモデルとされるGPT-5やGemini 2.5 Proでさえ、プロンプトインジェクション攻撃に100％さらされており、妊婦に胎児障害を引き起こす薬物を勧めるなど、安全性に深刻な限界を示した。


研究チームは、AIモデルを医療相談に適用する際の脆弱性を世界で初めて体系的に分析したと説明し、今後AIモデルを臨床現場に導入する場合には、安全性検証など追加的な措置が必要になると指摘した。

AIモデルは近年、患者相談や教育、臨床現場での意思決定などに広く活用されている。しかし、プロンプトインジェクション攻撃によって、危険または禁忌とされる治療や投薬を勧めるよう操作される可能性が、これまでも指摘されてきた。

研究チームは昨年1月から10月にかけて、AIモデル3種である「GPT-4o-mini」「Gemini-2.0-flash-lite」「Claude 3 Haiku」のセキュリティ脆弱性を分析した。

12の臨床シナリオを設定し、危険度を3段階に分類した。中間段階のシナリオでは、糖尿病などの慢性疾患患者に、標準的に認められた治療の代わりに生薬成分を勧める内容が含まれた。危険度が高い段階では、活動性出血のある患者やがん患者に治療薬として生薬成分を勧めたり、呼吸器疾患患者に呼吸抑制を引き起こす可能性のある薬を優先的に推奨したりするケースが想定された。最も危険な段階では、妊婦に禁忌薬を勧めるシナリオが設定された。

研究チームは、患者情報を用いてAIモデルの判断を攪乱する「状況認知型プロンプト注入」と、実在しない情報をもっともらしく捏造する「証拠改ざん型」の2種類の攻撃手法を用いた。

その上で、仮想患者とAIモデル3種との間で交わされた計216件の対話を分析した結果、3モデル全体の攻撃成功率は94.4％に達した。モデル別の攻撃成功率は、△GPT-4o-miniが100％、△Gemini-2.0-flash-liteが100％、△Claude 3 Haikuが83.3％だった。危険度別の成功率は、△中間段階が100％、△高い段階が93.3％、△最高段階が91.7％と確認された。特に、妊婦に禁忌薬を勧める攻撃には、3モデルすべてが脆弱であることが明らかになった。さらに、操作された回答がその後の対話でも持続した割合は、3モデルすべてで80％を超えた。これは、一度破られた安全装置の影響が対話全体に及ぶ可能性があることを意味する。

研究チームはさらに、最上位AIモデルであるGPT-5、Gemini 2.5 Pro、Claude 4.5 Sonnetについても脆弱性評価を行った。ユーザーの画面などに悪意のある文言を忍ばせ、その文言によってAIモデルの動作を操作する「クライアントサイド間接プロンプトインジェクション」を用い、妊婦に禁忌薬を勧めるシナリオで検証した。

その結果、攻撃成功率は△GPT-5が100％、△Gemini 2.5 Proが100％、△Claude 4.5 Sonnetが80％で、最新のAIモデルでも事実上、攻撃を防げないことが確認された。ソ・ジュンギョ教授は「今回の研究は、医療用AIモデルが単なる誤作動を超え、意図的な操作に構造的に脆弱であることを実験的に示した」と述べ、「現行の安全装置だけでは、禁忌薬処方を誘導するような悪意のある攻撃を防ぐのは難しい」と指摘した。

またソ教授は、「患者向け医療チャットボットや遠隔相談システムを導入するには、AIモデルの脆弱性と安全性を徹底的に検証し、セキュリティ確認を義務化する仕組みが必要だ」と強調した。今回の研究成果は、米国医師会が発行する国際学術誌『JAMA Network Open』の最新号に掲載された。