米人工知能（AI）企業アンソロピック（Anthropic）が韓国人作家の電子書籍を無断でダウンロードしたことが分かって波紋が広がる中、中国のAI企業も韓江（ハン・ガン）氏や黄晳暎（ファン・ソギョン）氏らの著書を無断でダウンロードしていたことが21日、確認された。

AI業界の最新研究成果を掲載するサイト「arXiv（アーカイブ）」によると、中国の情報技術（IT）企業でありAI企業でもある華為技術（ファーウェイ）は、自社のAIモデル「PanGu－Σ（盤古シグマ）」の開発に関する技術報告書を2023年3月に公開した。モデルの構造や学習方法などを説明した文書だ。ファーウェイはこの報告書で、AIモデルの学習用データをどのように収集したかを説明している。具体的には、英語のテキストには「ザ・パイル（The Pile）」などを使用したと明記した。その容量は800GB（ギガバイト）に達する。


「ザ・パイル」はAIの学習のために書籍や論文、ウェブ文書などを集めて作成したデータセット（データの集合）だ。「ザ・パイル」を説明したarXivの文書によると、これには「Books3（ブックス3）」のデータが含まれている。Books3はアンソロピックも無断でダウンロードした「海賊版」の電子書籍コレクションだ。「バーツ対アンソロピック」訴訟ではこの部分が問題となり、アンソロピックは著作権者に書籍1作品当たり3000ドル（約47万円）の和解金を支払うことにした。


ギットハブ（GitHub、開発者が利用するプラットフォーム）で公開されているBooks3の収録作品一覧を見ると、韓国人作家10人の英訳版電子書籍が少なくとも19作品含まれている。韓江氏の『少年が来る』『菜食主義者』をはじめ、黄晳暎氏の『バリデギ』、申京淑（シン・ギョンスク）氏の『母をお願い』、金英夏（キム・ヨンハ）氏の『私は私を破壊する権利がある』などだ。「ザ・パイル」の作成者はデータセットの説明文書で「長い文脈をモデル化する研究と、一貫した物語の構成に非常に貴重であるため」、電子書籍を「ザ・パイル」に含めたと説明した。

「ザ・パイル」はAI研究者が頻繁に使用するデータセットの一つだ。中国のAI企業「智譜AI（Z．ai）」と清華大学は共同開発したAI言語モデル「GLM」に関する技術報告書を2022年に公開し、モデルの学習データの出典として「ザ・パイル」を記載した。ただし、ファーウェイと智譜AIがダウンロードした小説をすべて学習に使用したのか、一部だけを使用したのかは確認できない。


韓国作家の韓江氏らの著書を盗用、華為技術など中国AI企業も加担（2）