「相手を詐欺罪で告訴しながら見慣れない根拠法理のため調べたところ韓国に存在しない米国の判例を引用していた」。

ソウルのある刑事課長が最近警察署に寄せられた告訴状を読んで体験したあきれたエピソードだ。彼は「生成AIの活用度が高まり請願人が直接告訴状を書いてくることが多いが韓国の刑法体系には存在しない判例や法条項が含まれている時があり困っている」と話した。


日常でチャットGPTなど生成AI活用が広範囲になりながら捜査機関や法曹界、医療界など専門領域で頭を痛めるケースがしばしば発生している。法律専門家の検証なくAIが作成した告訴・告発状をそのまま検察・警察に提出したり、AIで得た医療知識を盲信して医師に韓国にない処方薬を要求したりする場合などだ。家裁事件を担当するある弁護士は「依頼人が『AI弁護士にコーチングを受けてきた』として合意過程と弁護方式を一方的に要求したりもする。実務を引き受ける弁護人よりAIを信頼して実際に無理な要求をすることがあり困る」と話した。


専門家は人身拘束や患者の命に影響を与えかねない専門領域まで生成AIに依存して「ハルシネーション（幻覚）の罠」に陥ると警告する。ハルシネーションとは存在しない誤った情報をあたかも事実のように生成するAIのエラーのひとつだ。

病院と薬局でも同様のことが起きている。ソウル・麻浦区（マポグ）で薬局を運営するチンさんは「この世に存在していなかったり、数年前に生産終了した薬をくれというお客が1日に1～2人はいる」と話す。チンさんは「AIはハルシネーションのため最初から間違った情報を出すことも多いが、AIは特定薬をいつどんな状況でどのように服用すれば良いのか案内したり責任を負ったりはしない。専門家の責任ある診断が重要だ」と強調した。ソウル・永登浦区（ヨンドゥンポク）の内科専門医は「本人が望む処方をしてほしいという患者が増える傾向。胃かいようが疑われ追加検査が必要だと話しても、『チャットGPTはそう言っていない」と別の診断を主張したりする」と説明した。

個人の立場では告訴状のような難しい法律書類作成の支援を受けるなど生成AIの利点も明らかにある。知人との金銭問題で恵化（ヘファ）警察署を訪れたイさんは「チャットGPTを活用して事件概要などを文書で整理した。1人では絶対書けない難しい内容を20秒で文書様式に合わせて作れた」と話した。検察と警察の捜査の最前線でも生成AIは必須補助ツールとして定着する傾向だ。ソウルのある地方検察庁部長検事は「このごろ若い検事らは法律AIの助けを受けながら判例を探して公訴状を作成する」と話す。


韓国にはない法律、世に存在しない薬探す…AIの「幻覚の罠」に陥った人たち（2）