◇ディープシークでは『菜食主義者』の19単語がそのまま出力

中国の代表的なAI企業ディープシークは、データの出典をさらに具体的に明らかにした。2024年3月に公開したAIモデル「DeepSeek－VL」に関する技術報告書には、「アンナズ・アーカイブ」から入手した英語の電子書籍86万冊と中国語の電子書籍18万冊をAIモデルの学習に使用したと記されている。


「アンナズ・アーカイブ」は海賊版書籍サイトだ。ここにも韓江氏や黄晳暎氏、金英夏氏など韓国を代表する作家の英訳版電子書籍が掲載されている。金愛爛（キム・エラン）氏の『飛行雲』などは中国語訳がある。ディープシークがすべての書籍をダウンロードしたわけではなく、学習に必要な書籍だけをダウンロードしたため、ディープシークのダウンロード一覧に韓国人作家の著書が含まれているかどうかは確認できない。


ディープシークが韓国人作家の著書を学習に使用したという間接的な根拠は見つかっている。米コロンビア大学やカーネギーメロン大学などの研究チームが今年3月に初めて公開し、先月5回目の改訂版を公開した論文によると、「DeepSeek 3．1」で「ファインチューニング（微調整）」という過程を経て韓江氏の『菜食主義者』の原文を抽出した結果、連続する19単語が原文と全く同じ内容で出力された。論文の著者らはこれを、AIモデルが小説を事前学習した間接的な証拠とみなした。ただし、この論文は査読前の論文という限界がある。

「アンナズ・アーカイブ」は昨年1月にブログに掲載した文章で「AIが登場し、大規模言語モデル（LLM）を学習させるほぼすべての企業がわれわれを訪ね、データを学習させてほしいと求めた」とし、「特に中国企業はわれわれの書籍コレクションを熱心に受け入れたが、合法性について全く気にしていないようだった」と明らかにした。

◇米中だけの問題ではない…「AI業界の慣行」

海賊版電子書籍をAIの学習に使用するのは、アンソロピックと中国の一部AI企業だけの問題なのだろうか。すでにオープンAI（Open AI）とメタ（Meta）も電子書籍を無断でダウンロードしていた事実が訴訟の過程で明らかになった。韓国科学技術院（KAIST）AI大学院のチュ・ジェゴル教授の説明だ。

「海賊版書籍をAIの学習データとして使用することは、AI業界では広く知られている。AIモデルの学習に公開データを使用するのは慣行であり、その中には海賊版書籍が含まれている場合もあった。AI業界がモデルの性能を高める競争に没頭するあまり、法的問題を深く考慮せず、著作権のあるデータを十分な検討もなく使用していた時期があった」

AI発展の初期には、著作権のある電子書籍をAIの学習に使用することが世界的に広く行われていたという説明だ。どれほど慣行となっていたかについて、チュ教授は「海賊版書籍を含む公開データセットを、論文で学習データの出典として明らかにするほどだった」と説明した。また「最近になって次第に問題視されるようになり、多くのビッグテック企業が学習データを非公開にするケースが増えている」と付け加えた。


韓国作家の韓江氏らの著書を盗用、華為技術など中国AI企業も加担（1）