AI文章の電子透かし、日本語は検出が不利｜査読前研究

AI文章の電子透かし、日本語は検出が不利｜査読前研究 研究・論文

【更新 2026-08-24】本記事を見直し、修正しました。主な修正点：品質指標（MAUVE）の表で EXPEdit × Gemma の公平性基準（4/5ルール）への抵触数を「11言語すべて」と記載していましたが、原論文の該当表（Table 13）では11言語中10言語のため、記載を訂正しました。

大規模言語モデル（LLM）の出力に埋め込む「電子透かし」は、AI生成文を機械的に見分けるための有力な手段とされてきました。しかしその性能評価は、ほぼ英語だけで行われてきたのが実情です。

2026年8月20日に公開された査読前論文が、6方式・11言語を横断してこの前提を検証しました。結論は情シスにとって無視できないものです。透かしの検出性能と品質劣化の差は「言語ごとのばらつき」ではなく「語族レベルの構造的な差」であり、日本語は複数の条件で最下位（floor）に現れる一方、英語は一度も最下位になりませんでした。

さらに実務上重要なのは、「検出ツールが陰性を返した＝透かしが入っていない」とは限らないという指摘です。透かしの信号自体は残っているのに、英語基準のしきい値のせいで検出率がゼロになるケースが実験で確認されています。

この記事でわかること

  • AI文章の電子透かしが、言語によってどれだけ効き方が変わるのか
  • 日本語について具体的に何が観測されたのか（数値つき）
  • 「検出できない」と「透かしが無い」を混同すると何が起きるのか
  • AI検出ツールやサービスを評価するとき、ベンダーに何を聞くべきか

電子透かし（テキストウォーターマーク）とは何か

テキストの電子透かしとは、LLMが文章を生成する過程に統計的な偏りを仕込み、後から「これはそのモデルが作った文章だ」と検出できるようにする仕組みです。画像の透かしと違い、目に見える印は入りません。単語（トークン）の選ばれ方に、鍵を知っている検出器だけが気づける癖を残します。

本研究が対象にした6方式は、大きく2系統に分かれます。

系統 方式 やり方
グリーンリスト型（出力確率を操作） KGW / Unigram / XSIR 使ってよい単語群に下駄を履かせて偏りを作る
無歪み型（サンプリング時に介入） DIP / SynthID-Text / EXPEdit 確率分布を平均的には変えずに印を埋める

このうち SynthID-Text は Google の研究陣が Nature 誌に発表した方式で、XSIR は「翻訳しても検出できること」を狙って設計された方式です。つまり、多言語での利用はもともと想定されている領域だということになります。

どんな研究か

米ケース・ウェスタン・リザーブ大学のチームによる、LLMテキスト透かしの言語間公平性を体系的に監査した初めての研究です（arXiv:2608.20047、2026年8月20日公開、査読前）。

実験規模は次のとおりです。

  • 6方式（KGW / Unigram / XSIR / DIP / SynthID-Text / EXPEdit）
  • 3つのオープンウェイトモデル（Mistral-NeMo-12B、Gemma-3-4B、Qwen2.5-7B）
  • 11言語（4種の文字体系・8つの語族）
  • 2つの生成条件（素のベースモデル／指示チューニング済みモデル）
  • 各条件で透かし入り500件・透かし無し500件を生成（temperature 0.7、最大200トークン）

評価対象の11言語には日本語が含まれます。論文は日本語を「漢字＋かな」の文字体系、語族は日本語族（Japonic）として、中国語（漢字／シナ語族）とは別グループに置いています。

何が分かったのか

「検出できない」は「透かしが無い」を意味しない

もっとも実務に効く発見がこれです。ベースモデルの実験で、次の2つの条件は「検出失敗」に見えました。

  • Unigram × Gemma：共通しきい値での平均検出率（TPR）が 0.000。11言語すべてでゼロ。
  • XSIR × Qwen：平均TPR 0.215。11言語中10言語が公平性の基準（4/5ルール）に抵触。

ところが、しきい値に依存しない指標（AUC）で測ると話が変わります。Unigram × Gemma の平均AUCは 0.986（最低でも0.910）、XSIR × Qwen は 0.978。透かしの信号はきちんと入っていたのです。しきい値が、透かし無しテキストのスコア分布より上にずれて置かれていただけでした。

実際、言語ごとにしきい値を引き直すと、検出率はそれぞれ 0.799、0.794 まで回復しました。英語基準の設定をそのまま持ち込むと、検出率が最大0.799ポイントも変わる。設定ひとつで結論がひっくり返る世界だということです。

実務で使うモデルほど検出が落ちる

もうひとつ見逃せないのが、生成条件による差です。研究のベンチマークは素のベースモデルで測られがちですが、企業が実際に触るのは指示チューニング済み（instruct）のチャットモデルです。

その instruct 条件では、18条件のうち16条件で平均検出率が0.7を下回りました。たとえば KGW × Gemma はベース条件で0.969だったものが、instruct では 0.389（最低0.222、11言語中10言語が公平性基準に抵触）まで落ちています。SynthID だけは比較的持ちこたえ、Mistral で0.905、Qwen で0.941を維持しました。ただし Gemma では0.602（ベース条件では1.000）です。

そして、198通りの「条件×言語」の組み合わせのうち、判別がまぐれ当たり水準（AUC 0.5）を下回った唯一の例が、EXPEdit × Gemma の日本語（AUC 0.462）でした。

著者らは、instruct での崩れは主に「しきい値のずれ」であって信号の消失ではないと分析しています。とはいえ、運用者から見れば検出できないことに変わりはありません。

差は語族レベルで構造的に生じている

本研究の中心的な主張がここです。言語間の格差を分解したところ、語族間（between-family）の差が全体の61.3〜99.9％を占め、中央値は90％超でした。品質側でも、36通りの条件のうち32通りで語族間の寄与が70％以上（中央値およそ85％）を占めています。

これは「特定の言語がたまたま苦手」なのではなく、文字体系や語形変化、トークナイザの切り方といった言語の構造的性質に起因する、という意味です。著者らは考察で、この種の格差は個別言語の学習データを増やしても埋まりにくく、トークナイザの設計など設計側の選択に関わると述べています。日本語の担当者にとっては、「日本語データが増えれば解決する」という期待が持ちにくい、という含みがあります。

「無歪み」を謳う方式が、実測ではもっとも文章を歪めた

理論上は出力分布を歪めないとされる SynthID-Text と EXPEdit が、3種類すべての品質指標で最下位に沈みました。ベース条件での代表値は次のとおりです。

方式×モデル MAUVE（1.0が無劣化） 備考
EXPEdit × Gemma 平均0.013（最低0.006＝日本語） 11言語中10言語が公平性基準に抵触
SynthID × Gemma 0.03〜0.42 同上
KGW × Mistral 平均0.947（最低0.879＝日本語） 抵触ゼロ
DIP × Mistral 平均0.973（最低0.933） 抵触ゼロ

日本語に注目すると、KGW × Mistral、DIP × Gemma、EXPEdit × Gemma などでその条件内の最下位言語（floor）として現れます。論文は「アラビア語・ヒンディー語・トルコ語・ベトナム語・日本語がそれぞれ4つ以上の条件で最下位言語として現れる一方、英語は一度も現れない」と明記しています。透かしを入れられることの「コスト」も、言語によって不平等に負担されているわけです。

情シスの現場から見た論点

この研究が突きつけるのは、社内ルールの前提の危うさです。

生成AIの利用規程を整備するとき、「AI生成物は透かしや検出ツールで確認できる」という一文をどこかに書きたくなります。監査や提出物のチェックを技術で担保できるという安心感があるからです。しかしこの研究を読むと、その安心感は英語での測定結果に支えられていることがわかります。日本語で同じ精度が出る保証はどこにもありません。

特に危ういのは、検出ツールの「陰性」を根拠に何かを判断することです。Unigram × Gemma の例は極端で、透かしの信号は明確に存在する（AUC 0.986）のに、しきい値の設定だけで検出率が全言語ゼロになりました。この状態のツールを使えば、レポートには一律「AI生成ではない」と出ます。人事上の判断や取引先への説明にこれを使えば、事故になります。

正直なところ、この手の技術は「入れておけば安心」の対象として扱われがちです。しかし透かしは、しきい値・言語・モデルの組み合わせで挙動が変わる、繊細な測定器に近いものです。限られた人員でそこまで検証しきるのは、率直に言って重い。だからこそ、透かしを「証拠」ではなく「参考情報」として位置づけ直すのが現実的な落としどころだと考えます。

日本語であるがゆえに海外基準の安全対策が効きにくい、という構図は透かしに限りません。当サイトでもLLMジェイルブレイク、日本語は英語より通りやすいという研究を取り上げました。「英語で測った安全性能は日本語でそのまま成り立たない」という共通の教訓があります。

ツール・サービスを評価するときの確認事項

AI検出機能を持つ製品やサービスを検討する際、この研究の知見はそのまま質問リストになります。

確認すること なぜ聞くのか
精度は何語で測ったか。日本語データは含まれるか 英語のみの評価が業界の既定値。日本語の実測がない可能性が高い
しきい値は誰がどう決めたか。自社データで再校正できるか 共通しきい値のままだと、信号があっても検出率がゼロになりうる
ベースモデルとチャットモデル、どちらで測ったか instruct 条件では18中16の条件で検出率が0.7未満に落ちた
偽陽性率（FPR）の実測値はいくつか 「AI生成でない文章をAI生成と誤判定する率」。誤判定の被害は大きい
文章品質への影響を何の指標で測ったか 指標を1つしか見ないと結論が入れ替わる（指標間の順位相関は最大でも+0.58）

いずれも「答えられない／英語だけです」という回答が返ってきた場合、それ自体が重要な判断材料になります。透かしの信頼性は、AI生成物の来歴管理という広い課題の一部です。関連してAI画像の電子透かしは回転で消える｜研究解説や、AI生成文に秘密情報を隠す研究｜検知の限界も、同じ「検知は万能ではない」という文脈でつながります。

この研究の限界（査読前である点を含む）

断定を避けるべき点を整理します。

  • 査読前のプレプリントです。結果や解釈は今後変わりうるため、社内文書に引用する際はその旨を添えてください。
  • 対象は11言語・6方式に限られます。著者自身も、世界の多くの言語がこの範囲の外にあること、透かし研究は現在も増え続けており6方式が網羅ではないことを限界として挙げています。
  • 使われたのはオープンウェイトの3モデルです。商用サービスそのものを評価したものではありません。特定の商用AIサービスの検出精度に、この数値をそのまま当てはめることはできません。
  • 「日本語が常に最悪」ではありません。条件によって最下位になる言語は変わります。日本語は最下位に現れやすい言語群の一つであり、英語が一度も現れないという対比が本質です。

情シスはどうすべきか

この一本の論文を根拠に、社内の生成AI対策を組み替える必要はありません。むしろやるべきは、既存の規程の中に「検出できる前提」が紛れ込んでいないかを点検することです。

生成AIの利用ルールそのものについては、自前でチェックリストを作り込むより、まず公的な指針に沿うのが近道です。

  • 総務省・経済産業省「AI事業者ガイドライン」… AIの開発・提供・利用それぞれの立場での留意点が整理されています。→ 総務省の掲載ページ
  • IPA「中小企業の情報セキュリティ対策ガイドライン」… 限られた人員での現実的な進め方を示しています。→ IPA 公式ページ
  • IPA「対策のしおり」… 従業員向けの啓発資料として、そのまま配布できる形になっています。→ 対策のしおり

そして地味ですが効くのは、利用者への周知です。「AI生成かどうかは技術で完全には見分けられない」という事実を共有しておくこと。検出ツールへの過信を防ぐこと自体が、実は最も費用対効果の高い対策かもしれません。生成AI利用にまつわるリスク全体を俯瞰したい場合は、OWASP LLM Top10 2026、専門家と実データの差も参考になります。

まとめ

  1. AI文章の電子透かしは、言語によって効き方が構造的に違います。格差の6割から9割以上は語族間の差で説明され、日本語は複数の条件で最下位言語として現れる一方、英語は一度も現れませんでした。
  2. 「検出されなかった」を「透かしが無い」と読み替えてはいけません。信号が明確に存在するのに、しきい値の設定だけで全言語の検出率がゼロになった実例があります。検出結果の陰性を判断根拠にしないでください。
  3. ツール評価では「何語で・どのモデルで・どのしきい値で測ったか」を必ず確認します。特に実務で使う指示チューニング済みモデルでは、18条件中16条件で検出率が0.7を下回りました。

出典

タイトルとURLをコピーしました