問題は検証なく生成AIの結果を使い場合によっては大型事故につながりかねない点だ。先月17日に国会行政安全委員会の国政監査では警察が不送検決定文作成過程でチャットGPTを使い存在しない判例を引用した事実が指摘された。この日「共に民主党」の権七勝（クォン・チルスン）議員は竜仁（ヨンイン）東部警察署が作成した児童福祉法違反事件の不送検決定文の一部を公開した。決定文は大法院（最高裁）とソウル北部地裁の判決文を引用し「一時的や断片的な言動だけでは児童の精神健康と発達に害を及ぼすと断定しがたく、反復性・持続性と具体的な被害状況が認められなければならない」と明示した。しかし告訴人側が内容を確認した結果、この文章は判決文にない内容とわかった。

警察庁のユ・ジェソン庁長代行は「AIを活用して作成したという報告を受けた。判決文を間違って引用したものだ。その後留意事項を指針として下達した」と話した。


専門家はAIに完全に依存するよりは補助ツールとして活用できるようガイドラインなどを設けるべきと口をそろえた。韓国AI教育協会のムン・ヒョンナム会長は「AIは文書要約などに活用して生産性を高める補助ツールとして活用し、最終意思決定は必ず人間がするようガイドラインが必要だ。AIに判断を任せればハルシネーションのため根拠も偽物で提示しかねない」と話した。続けて「日常でAIを活用する場合には最小2～3種類の生成AIを使ってクロスチェックしたり正確度を高めて副作用を減らし、最後はその分野の専門家に検証を受けなければならない」として生成AI依存を減らすべきだと助言した。


機関の場合は使用範囲と予算が増えるだけに、副作用を防ぐための補完策が必須という指摘も出る。警察庁は来年度予算案で判例・法律生成型AI検索システム利用権購入に向け15億ウォンを増額編成している。国会行政安全委員会は「2026年度警察庁所管歳入歳出予算案検討報告書」で、「導入された人工知能技術を通じて分析された結果の正確性に対する持続的な点検が必要だ。技術が正確に使われるよう執行管理を徹底する必要がある」と指摘した。

人工知能法学会のチェ・ギョンジン会長は「AIは入力されたデータ以外には判断できる根拠がないが、捜査過程で明らかになった多くの事実関係と脈絡に対する理解を十分にできない可能性もある。特に捜査機関と法執行機関の場合には国民の基本的な権利と直接関連するため、AI活用に対する批判的な検討と検証の姿勢が必要だ」と強調した。続けて「判決や決定過程でAIを活用した場合には使用過程に対する説明と理由がともに公開される必要がある」と話した。


韓国にはない法律、世に存在しない薬探す…AIの「幻覚の罠」に陥った人たち（1）