AI学習クローラから自サイトを守る — robots.txt/noai/CDNの4段

執筆時点: 2026-05 / 対象法域: 日本 / 米国 / EU(法域別の差分を §A で明示) / last_updated: 2026-05-29 更新履歴: 2026-05-29 初版

この記事の射程: 「自サイトを AI 学習クローラから守る側」が主軸です。スクレイピングの法的境界 と同じ技術(robots.txt◆ / RFC 9309)を扱いますが、読む側 vs 書く側の逆視点 で構成しています(同じ User-Agent 一覧を見ながら、あちらは「取得側の遵守ライン」、本記事は「防御側の意思表示と技術的遮断」を扱います)。

本シリーズの位置づけ: ハブは 公開前の権利チェック、関連は スクレイピングの法的境界(逆視点)/ AI サービスを使う前に読む利用規約(個人 vs 企業 API の opt-out 軸)/ AI 生成物の著作権(EU AI Act◆ Art.50 表示義務 / 著作物性はそちらで扱います)です。さらに、自分が米国企業に 預けた 非公開データへの政府アクセス(CLOUD Act・FISA 702)という逆レイヤは 米国にデータを預けるということ(公開コンテンツを守る本記事に対し、預けたデータの主権を扱う側)で扱います。各論記事は 独立に読める 構成です(順読不要)。

用語ミニ解説(はじめての方へ): 本記事(本文・図中ラベル含む)で繰り返し出る略語・専門用語の最小限の説明です。法律・技術・訴訟の 3 領域に分けています。

技術用語(自サイト防御 §C 関連):

• クローラ(crawler / bot): Web サイトを自動巡回して内容を取得するプログラム。検索エンジン用 / AI 学習用 / アーカイブ用などがあります。User-Agent 文字列で自分の名前を名乗ります。
• robots.txt(RFC 9309 で標準化): Web サイトのルート(/robots.txt)に置くテキストファイル。User-Agent ごとに「どのページを取得してよいか」を伝える取り決め。
• RFC(Request for Comments): IETF(Internet Engineering Task Force、インターネット標準を作る国際組織)が公開する技術仕様書。RFC 9309 = robots.txt の 2022 年標準化版。
• WG(Working Group): IETF 内の特定テーマ別の作業部会。本記事の IETF AIPREF WG は AI クローラ向け preference signaling(意思表示)の議論を行う WG。
• X-Robots-Tag: HTTP レスポンスヘッダで robots ディレクティブ(クローラへの指示)を返す手段。HTML 以外の静的ファイル(PDF / 画像)にも使えます。
• noai / noimageai メタタグ: HTML の <meta> タグで AI クローラへの意思表示を行うシグナル。法的拘束力は持ちません(2026-05 時点でデファクト標準にも至っていない)。
• GPTBot / CCBot / ClaudeBot / Google-Extended / PerplexityBot: 主な AI クローラの User-Agent(2026-05 時点、各社公式)。それぞれ OpenAI(学習用)/ Common Crawl(後述)/ Anthropic / Google(AI 学習用、検索用 Googlebot とは別)/ Perplexity が提供。
• Common Crawl: 非営利団体が運営する Web アーカイブクローラ(CCBot)。収集データは AI 学習データセット(LAION 等)の元素材として広く使われています。
• pay-per-crawl(Cloudflare): 2026-05 時点で private beta(限定公開ベータ)の 検討中技術。AI クローラに対する課金 / 許諾モデルとして提案中、本格運用前のため設計・仕様は今後変動する可能性あり。
• opt-out(オプトアウト): 「特定の用途への利用を拒否する意思表示」。EU では機械可読(robots.txt 等のクローラが読める形式)の opt-out が DSM Art.4 の TDM 例外回避 に必要です。

法律用語(§A 法域別関連):

• TDM(Text and Data Mining、テキスト・データマイニング): 大量のテキスト / データの自動解析。EU では「学習データ」の議論の多くがこの法的カテゴリで扱われます。
• DSM Directive(EU Directive 2019/790、Digital Single Market Directive、デジタル単一市場著作権指令): EU の著作権ディレクティブ。Art.3(研究機関向け TDM 例外、opt-out 不可)と Art.4(一般向け TDM 例外、機械可読 opt-out 付き)で TDM 例外を区別。
• fair use(米国 17 U.S.C. §107): 米国著作権法の抗弁(=訴えられた側の防御理由)。4 要素分析(目的・性質・量・市場影響)を 事件ごとに事実集約的に判断 します(事前に「OK / NG」を機械的に決められない構造)。
• transformative(変容的): fair use の第 1 要素(目的・性質)で評価される観点。原著作物の用途を質的に変えているほど fair use 寄りと判断されやすい。
• 著作権法 30 条の 4(日本): 「情報解析の用に供する場合」の権利制限規定(2018 年改正で導入)。AI 学習を含む情報解析を原則許容しますが、享受目的併存時や著作権者の利益を不当に害する場合は適用外。

訴訟用語(§B 訴訟動向関連):

• summary judgment(SJ、略式判決): 米国訴訟で「事実に争いがなく法的争点のみが残る」段階で、本案審理(陪審審理)を経ずに判決を下す手続き。本案判断の一種(MTD のような前段ではない)。
• MTD(Motion to Dismiss、訴え却下申立て): 米国訴訟の早期段階で、被告が「訴状の主張を全部認めても法的に救済できない」として訴えの却下を求める手続き。MTD denied(却下されない = 引き続き訴訟が裁判所に係属して本案審理へ進む)は本案判断ではなく前段の手続的判断。
• narrow holding(狭い判決射程): 判決の判断が特定の事実関係に限定されており、他の事件への一般化が難しい状態。Thomson Reuters v. Ross 判決は明示的に 非生成 AI(nongenerative)に限定 と留保しており、生成 AI への射程は未解決と整理されています。
• non-generative AI(非生成 AI): ユーザー入力に対して「新しいコンテンツを生成する」のではなく、検索 / 分類 / 推薦などを行う AI。Ross の法律検索 AI が該当。
• post-SJ(SJ 後の): 略式判決の後で行われる手続き。Bartz v. Anthropic の和解は SJ で「学習は fair use / 海賊版は not fair use」と判断された後 に行われた金銭解決(2025-09、約 $1.5B)で、SJ 自体は本案判断あり。
• CDPA 1988(Copyright, Designs and Patents Act 1988、英国著作権意匠特許法): 英国の著作権法。EU 法ではなく Brexit 後の英国独自の判断基準。Getty v. Stability AI([2025] EWHC 2863 (Ch))はこの法律に基づく判断です。
• 係属中(けいぞくちゅう、Pending): 訴訟が裁判所に係属している状態(本案判決・和解・取下げのいずれも未了)。日本の裁判所サイトでも「係属中」「訴訟係属中」が公的用語として使われています(一般用語の「継続中」は法廷用語としては不正確)。本記事 fig3 の Andersen v. Stability AI 等の badge [係属中] は米国訴訟 status の Pending を日本語化したもので、米国訴訟上の状態を示します。

(本記事は EU AI Act Art.50 (AI 生成物の表示義務、原則 2026-08-02 適用予定。一部に経過措置の議論あり、詳細は別記事)と AI 生成物の著作物性 は扱いません(AI 生成物の著作権 で扱います)。混同しないでください。)

自サイト防御の効力差 — 「止める」「意思表示する」「証跡にする」を分ける

本論に入る前に、本記事で扱う 5 つの手段の 効力の違い を冒頭で整理しておきます。同じ「AI クローラ対策」でも、技術的に止めるのか、意思を表示するのか、訴訟時の証跡にするのかで意味が違うためです。

この区別は §C 自サイト防御実装で具体化します。本表の手段のうち実際に「止める」のは Cloudflare 等の技術的ブロック(Vercel / Netlify など CDN 側の AI bot ブロックも同様)で、残りは意思表示と証跡を兼ねる、というのが現時点の整理です。ただし技術的ブロックも主に既知・検出可能なクローラが対象で、万能ではありません(詳細は §C.1・§C.4)。

§A. AI 学習例外を法域で見る — JP / US / EU を 3 列で並べる

「自サイトの内容が AI 学習に使われたら違法か?」の答えは 法域で違います。本節は JP / US / EU の 3 法域を並べます(個別事件の本案判断は §B で扱います)。

A.1 日本 — 著作権法 30 条の 4

日本の著作権法 30 条の 4 は AI 学習を含む情報解析を原則許容するが、著作権者の利益を不当に害する場合 / 享受目的が併存する場合は適用外と整理されています(文化庁 2024-03「AI と著作権に関する考え方について」+ 2024-07「AI と著作権に関するチェックリスト&ガイダンス」。後者は前者の「追補」ではなく別文書)。「学習 = 自由」は誤読 で、享受目的(学習結果を享受する目的、例: 出力で原作を再現する用途)が併存する場合や、学習用データセット市場と競合する場合は例外不成立になり得ます。

A.2 米国 — fair use 17 U.S.C. §107

米国 fair use(17 U.S.C. §107)は 4 つの要素(目的・性質・量・市場影響)を 事件ごとに重み付けして判断する事実集約的な抗弁 であり、AI 学習が自動的に fair use に該当するわけではありません。実際、2025 年 2 月の Thomson Reuters v. Ross では fair use が否定されました(§B で詳述)。一方、同年 6 月の Bartz v. Anthropic と Kadrey v. Meta では「学習は fair use」と判断されています。結論は事件ごとに違います。

A.3 EU — DSM Directive 2019/790 Art.3 & Art.4

EU では DSM◆ Directive 2019/790 Art.4 が機械可読な opt-out 付きで TDM(text and data mining)を許容、Art.3 は研究機関向けで opt-out 不可と区別されています。自サイト側が「AI 学習に使わせたくない」と表明するには 機械可読な opt-out(robots.txt や HTTP ヘッダ等)が前提になり、本記事 §C の実装(robots.txt 等)は、この EU Art.4 の機械可読 opt-out の 有力な候補 ですが、それが Art.4 上の opt-out として十分かは、加盟国の国内実装法・運用・表示する内容に依存 します(機械可読要件を厳格に解釈する国もあり、一律ではありません)。条文上の要件を満たすかの最終確認は、一次資料・専門家で別途行ってください。なお EU AI Act の汎用 AI(GPAI)プロバイダ義務は 2025-08-02 に適用開始済みで(これは GPAI モデルの 提供者(provider) に課される義務で、自サイトを運営する側一般への直接義務ではありません)、その義務違反に対する欧州委員会の制裁権限は 2026-08-02 から発効します(義務の発生と当局の執行権限は時期が異なります)。米国でも州法が動き、カリフォルニア AB 2013 が 2026-01-01 に施行済みです(同法は カリフォルニアで生成 AI システムを公開提供する開発者 に学習データの透明性開示を課すもので、自サイトを運営する側一般に直接課される義務ではありません)。企業で自社サイトを運営する方は「いつから何が課されるか」の規制カレンダーを持って自社サイト・プロダクトを点検すると計画が立てやすくなります(AI 生成物の 表示義務= EU AI Act Art.50 の詳細は AI 生成物の著作権 で扱い、本記事の学習・クローラとは別レイヤです)。

A.4 IETF AIPREF WG(検討中)

IETF AIPREF WG は 2025 年に正式発足(charter approved 2025-04)し、AI クローラ向けの preference signaling を議論しています(2026-05 時点、Internet-Draft 段階で標準化前)。robots.txt と並ぶ、または補強する別シグナル方式が検討されています(標準化前のため、本記事では「検討中」として扱います)。

A.5 「AI 生成物の著作権」記事との分担(混同回避)

なお、EU AI Act Art.50(AI 生成物の表示義務、原則 2026-08-02 適用予定。一部に経過措置の議論あり、詳細は別記事)は本記事では扱いません。これは「AI が生成したものをどう表示するか」(AI 生成物の著作権 で扱います)であり、「AI 学習にどう使われたか」(本記事のテーマ)とは別レイヤです。混同しないよう、本記事は Art.50 を意図的に除外しています。

§B. 訴訟動向 — 判断されたこと / 判断されていないこと

2025-2026 年にかけて AI 学習を巡る訴訟は一気に増え、各種集計トラッカーでは米国だけで 100 件超が係属中とされます(集計の定義により件数は変動するため、単一の確定値ではなく「100 件超」と幅をもたせた目安です)。ただし 本案で公表された主要な判断・和解はごく少数(Thomson Reuters 第一審・Getty UK 第一審・Bartz の SJ + 和解 程度。いずれも控訴中 / 和解 / SJ の段階で、上級審で射程が変わる余地を含み、「確定判決」とは限りません)で、大半は係属中 or 控訴中です。SJ(略式判決)の期日が 2027 年まで先送りの事案も多く、ニュース見出しの「AI 勝訴」「クリエイター勝訴」は単純化されがちです。判決を読む鍵は 各事件で「何が判断され、何が判断されていないか」を分けて読む こと、そして 「〜と判決が出た」と早合点せず「係属中 / 期日 ◯◯」と捉える ことです。

B.1 Thomson Reuters v. Ross Intelligence(米連邦地裁、2025-02)

• 判断されたこと: Thomson Reuters v. Ross Intelligence(D. Del. 2025-02-11、要旨)は非生成 AI による Westlaw 判例要旨(headnotes)の学習について fair use を否定した本案判断とされます。
• 判断されていないこと: 判決は明示的に 非生成 AI(non-generative)に限定 されており、Ross は控訴中で、生成 AI への射程は未解決です。この 1 件をもって「fair use がもう使えない」とは読めません。

B.2 Bartz v. Anthropic(米連邦地裁 N.D. Cal.、2025-06 SJ → 2025-09 和解)

• 判断されたこと: Bartz v. Anthropic(N.D. Cal. 2025-06-23、Alsup 判事 summary judgment、要旨)は「合法に入手した書籍を AI 学習に使う行為は fair use(transformative)」としつつ、「海賊版経由の取得・保持は fair use ではない」と判断しました(「学習の transformative 性」と「学習データの入手経路の適法性」は別レイヤ)。その後 2025-09 に約 15 億ドル($1.5B)規模の和解で合意したと当事者団体・報道は説明しています(SJ 後の和解。ただしクラスアクションの和解は 裁判所の承認(予備承認 / 最終承認)を経て確定 するため、予備承認は 2025-09-25、最終承認(fairness)hearing は 2026-05-14 に実施されましたが、その場で最終承認 order は発令されず、追加 briefing を経て判断する段階で、2026-06 時点で最終承認は未確定です。本記事執筆時点での承認段階・確定日付は当事者発表・二次報道に依拠しています。当事者団体の解説によれば、和解は過去の取得・保持・利用に関する免責が中心で、将来の学習ライセンス / 出力起因の請求は別とされます。)。
• 判断されていないこと: この事件は 「学習そのものが違法」とは判断しておらず、また「和解 = 本案で負けた」でもありません。SJ は「学習は fair use」を認めたうえで、和解は海賊版部分(入手経路)の金銭的決着という二層構造です。

B.3 概要 4 件(係属中・別法域)

紙幅の都合で要点のみ挙げます(詳細・一次資料は末尾 References 参照)。

• NYT v. OpenAI(S.D.N.Y. 2023-、2025-04-03 に MDL 1:25-md-03143 へ統合): 2025-04-04 の MTD 部分判断で著作権の主要請求が維持されました(本案判断ではなく、係属中)。
• Kadrey v. Meta(N.D. Cal. 2025-06-25、Chhabria 判事 summary judgment): Meta が勝訴しましたが、判決自身が「原告が市場希釈(market dilution)を立証できなかったため」と明言しており、立証次第で結論が変わりうると示唆しています。
• Getty Images v. Stability AI([2025] EWHC 2863 (Ch)、2025-11-04 英 High Court): Getty は主要な著作権侵害・データベース権侵害の請求を 自ら取下げ(学習が UK 外で行われたため)、二次的著作権侵害の請求は 実体審理で棄却(モデルの重みは作品の複製を保持しない=「モデル内に複製は存在しない」との判断)。商標の一部のみ認容(英国法 CDPA 1988 に基づく判断で、EU 法ではありません)。
• Andersen v. Stability AI(N.D. Cal. 2024-08-12): DMCA 1202 が prejudice 付きで却下されましたが、著作権の直接・誘発侵害は維持されディスカバリが進行中です(2026-05 時点、本案 summary judgment / 和解は未確認)。
• GEMA v. OpenAI(独 ミュンヘン地裁 I、2025-11-11): 報道・GEMA 発表ベースでは、LLM による歌詞の記憶・再生成(モデル内の複製・出力)を巡る欧州の重要判決とされます(ドイツ著作権法の TDM 例外の適用を否定したと報じられ、OpenAI は控訴したとされます)。争点は「AI 学習一般」ではなく歌詞の記憶・再生成に寄っており、いずれも当事者発表・二次報道ベースで、判決文一次・控訴審 docket は当事者発表・二次報道に依拠しています。一方、同じドイツでも別の裁判所(ハンブルク)は LAION 勝訴(研究・汎用 TDM 例外を適用、ただし連邦通常裁判所へ上告中)と判断しており、EU 域内でも結論が割れています(オランダの裁判所はオプトアウトの機械可読要件を厳格に解釈するなど、運用も国ごとに差があります)。これらは各国の制度・事実関係の違いによるもので、優劣の問題ではありません。

並べて見えてくるのは、「学習 = 自由」も「fair use はもう使えない」も、いずれも一般化できない ということです。fair use は事件ごとの事実集約的な判断であり(§A 参照)、自社サイトの内容が学習に使われたときに何が問題になり得るかは、入手経路・用途・市場影響 という要素で変わります。だからこそ、次の §C では「結果を待つ」のではなく、今できる意思表示と技術的遮断 を整理します。

§C. 自サイト防御実装 — 「意思表示する」と「止める」を組み合わせる

スクレイピングの法的境界 は「取得する側」が守るラインを扱いました。本節はその 逆視点 — 同じ RFC 9309(robots.txt)を、防御する側から 使います。冒頭の効力差表を、実装の手順に落とします。

C.1 robots.txt(RFC 9309)— まず意思表示と証跡を残す

robots.txt は RFC 9309(2022)で標準化されており、技術的にクローラに従う義務はありませんが、訴訟時の意思表示の証跡として機能します(法的拘束力は限定的)。「止める」手段ではなく「意思を示し、記録に残す」手段 と捉えるのが正確です。

止めたい相手の User-Agent を指定します。主な AI クローラの User-Agent には GPTBot(OpenAI 学習用)、ChatGPT-User(対話呼出)、CCBot(Common Crawl)、ClaudeBot(Anthropic)、Google-Extended(Google AI 学習用)、PerplexityBot などがあります(2026-05 時点、各社公式ドキュメント参照)。なお Google-Extended は robots.txt 制御用の product token で、独立した User-Agent としてアクセスログには現れません(robots.txt で指定はできますが、GPTBot/CCBot のような crawler UA とは性質が異なり UA 別ログでは観測できません)。検索用 Googlebot とも別物で、ブロックしても通常の検索インデックスには影響しません。なお主要ベンダは「学習用 / ユーザー要求時取得 / 検索インデックス」で User-Agent を 3 分する型に収斂しつつあり、用途別に出し分けたい場合は各社公式の最新一覧を確認してください。

ただし重要な限界があります。robots.txt を尊重するかはクローラ次第で、2025-2026 時点では二極化しています。OpenAI / Anthropic / Google / Meta / Mistral / Apple など 公式に robots.txt / User-Agent での制御方法を示しているベンダもあります(各社公式ドキュメント参照、具体リンクは References)が、一方で xAI(Grok)や Perplexity は IP ローテーションや User-Agent 偽装で robots.txt 制御が事実上効かないとの報告があり(Cloudflare は 2025-08 に Perplexity の verified bot 認定を解除)、DeepSeek は公式 User-Agent を公表していません(これは各社の運用方針・事業判断による差で、優劣を断じるものではありません)。大規模な実証研究(査読前 preprint)でも、AI 検索クローラが robots.txt をほとんど参照しない傾向が報告されています。つまり 「robots.txt に書けば守れる」は半分しか正しくありません——意思表示・証跡としては有効でも、確実な遮断には後述の技術的ブロック(Cloudflare 等)+ 機械可読メタデータ + bot 検証を組み合わせる多層防御が現実解です。

C.2 X-Robots-Tag(HTTP ヘッダ)— 静的ファイルにも効かせる

X-Robots-Tag は HTTP ヘッダで robots ディレクティブを返す手段で、HTML 以外の静的ファイル(PDF / 画像)に対する意思表示に有用です。robots.txt が「サイト全体のルール」なら、X-Robots-Tag は「ファイル単位で同じ意思を HTTP の層に乗せる」役割です。配布資料の PDF や図版を抱えるサイトでは併用する価値があります。

C.3 noai / noimageai メタタグ — HTML レベルの追加シグナル

noai / noimageai メタタグは HTML レベルの defensive depth(多層防御の一枚)として実装されることがありますが、法的拘束力は持たず、2026-05 時点でデファクト標準にも至っていません(各 platform の独自運用にとどまります)。「やっておいて損はないが、これだけに頼らない」位置づけです。

C.4 Cloudflare AI クローラブロック(ワンクリック)— 技術的に「止める」層

ここまでの 3 つはいずれも「意思表示」です。実際に 技術的にブロックする のは Cloudflare のような CDN / WAF の機能です。Cloudflare は 2024 年中旬に AI クローラのワンクリックブロックを全プラン(無料含む)で提供開始し、2025-07 には新規ドメイン契約時の既定を「AI ブロック」に変更しました。robots.txt を無視するクローラにも効くのが意思表示との決定的な違いですが、万能ではありません——止められるのは主に 既知・検出可能な AI クローラで、未識別・偽装・迂回するクローラまで必ず止まるわけではなく、Cloudflare を経由しない経路にも及びません。Cloudflare の集計では AI bot トラフィックの大半が学習目的とされ、robots.txt を無視する bot の割合も増加傾向にあります。だからこそ、前述の意思表示と組み合わせた多層防御が要ります。

C.5 Cloudflare pay-per-crawl(検討中技術)

Cloudflare の pay-per-crawl は 2026-05 時点で private beta 段階の検討中技術であり、AI クローラに対する課金 / 許諾の仕組みとして提案されています(本格運用前のため、設計や仕様は今後変動する可能性があります)。「ブロックするか / させるか」の二択でなく「条件付きで通す」第三の選択肢になり得ますが、本記事では動向として記録します。

C.6 ホスト別の置き場所(主に企業の自社サイト運営)

robots.txt の中身は共通でも、どこに置くか・ヘッダをどう足すか はホストで変わります。最小構成の robots.txt は次のようになります(止めたい User-Agent を列挙し、サイト全体を Disallow(取得を許可しない指定)する例)。なお Disallow は robots.txt の構文キーワードのため、日本語に置き換えるとファイルが機能しません。意味はコメント(# 以降)で補います。

# AI 学習クローラ向けの意思表示(例。検索用 Googlebot は対象にしていない)
# 「Disallow」は robots.txt の構文キーワード(取得を許可しない指定)。
User-agent: GPTBot
Disallow: /          # 取得を許可しない(サイト全体)

User-agent: CCBot
Disallow: /          # 取得を許可しない(サイト全体)

User-agent: ClaudeBot
Disallow: /          # 取得を許可しない(サイト全体)

User-agent: Google-Extended
Disallow: /          # 取得を許可しない(サイト全体)

User-agent: PerplexityBot
Disallow: /          # 取得を許可しない(サイト全体)

いずれの場合も、「robots.txt で意思表示 → 必要なら X-Robots-Tag で静的ファイルにも拡張 → 確実に止めたいなら Cloudflare」 の順で積み上げるのが、効力差表に沿った組み立て方です。導入後は User-Agent 別のアクセスログを定期的に確認し、意思表示が無視されていないか(=ブロックへ切り替える判断材料)を見ておくと安心です(ただし Google-Extended のような robots.txt 専用 token は独立 UA として現れない点に留意)。

C.7 個人開発の最初の一歩(個人開発・副業の方)

ここまで読むと大がかりに見えますが、個人ブログや GitHub Pages なら 最初の一歩は robots.txt に Disallow を数行足すだけ です。上の例をコピーして公開ディレクトリ(GitHub Pages ならリポジトリの公開ルート、多くの静的サイトなら public/)に robots.txt として置けば、意思表示は完了します。完璧を目指さなくても、まず「使わせたくない意思を記録する」ことから始められます。

§D. まとめ — 自サイト保護チェックリスト(立場別)

最後に、立場別の確認リストにまとめます。全部やる必要はなく、自分の立場で「どこまで意思表示し、どこから止めるか」を決める ための地図として使ってください。

【企業で自社サイトを運営する方】
□ 1. 自社の主要サイトの User-Agent 別アクセスを 1 ヶ月分集計した
□ 2. robots.txt に GPTBot / CCBot / ClaudeBot / Google-Extended / PerplexityBot の Disallow を追加した
□ 3. PDF / 画像など静的ファイルへ X-Robots-Tag で意思表示を拡張するか検討した
□ 4. noai / noimageai を「法的拘束力なし」と理解した上で、追加するか判断した
□ 5. 確実に止めたい範囲は Cloudflare ワンクリックブロックの採否を判断した
□ 6. robots.txt の設置日・内容を証跡として記録した(意思表示の裏づけ)
□ 7. 学習データ利用許諾の最終判定は、法務 / 知財専門家に確認するルートを用意した

【個人開発・副業で公開リポ・ブログを持つ方】
□ 1. 自分のブログ / GitHub Pages の robots.txt の有無を確認した
□ 2. 止めたい AI クローラの User-Agent を robots.txt に Disallow で追加した
□ 3. ホスト別の置き場所(公開ルート / public/)に robots.txt を置いた
□ 4.(任意)noai メタタグを「気休めの追加シグナル」と理解した上で入れた

軸はシンプルです。robots.txt・X-Robots-Tag・noai は 意思表示する / 証跡にする 手段、Cloudflare 等の技術的ブロックが 実際に(主に既知のクローラを)止める 手段です(robots.txt を無視する相手にも効きますが、偽装・迂回まで完全には止まらないため多層防御が前提)。訴訟動向(§B)は「学習 = 自由」とも「fair use はもう使えない」とも言えない流動的な段階で、結果を待つより、今できる意思表示と記録を整える のが現実的な備えになります。

なお、AI サービスを「使う側」での学習 opt-out(個人プラン vs 企業 API の既定の違い)は AI サービスを使う前に読む利用規約 で、AI 生成物の著作権・表示義務(EU AI Act Art.50)は AI 生成物の著作権 で扱っています。本記事はあくまで「自サイトを守る側」に絞っています。

出典 / References

主要な根拠を一次情報中心にまとめます。AI 学習を巡る法令解釈・訴訟は流動的なため、内容はすべて執筆時点(2026 年 5 月)の確認結果です。現時点で二次情報に依拠している箇所は、出典に(二次)と付して明記しています。

法令・行政文書・技術規格(一次)

• 文化庁「AI と著作権に関する考え方について」(2024-03)+「AI と著作権に関するチェックリスト&ガイダンス」(2024-07)(一次)
• 17 U.S.C. §107(米国著作権法・fair use)(一次)
• EU DSM Directive 2019/790(Art.3 / Art.4 TDM 例外)(一次)
• IETF AIPREF Working Group(一次・検討中)
• RFC 9309(Robots Exclusion Protocol)(一次)
• Google Search Central「Robots meta タグ / X-Robots-Tag」(一次)
• Cloudflare「Block AI bots, scrapers and crawlers with a single click」(一次)
• Cloudflare「Introducing pay-per-crawl」(一次・private beta、検討中)
• 主な AI クローラの User-Agent は各社公式ドキュメント(OpenAI / Common Crawl / Anthropic / Google / Perplexity)に依拠。仕様は随時更新されるため、設定前に最新を確認してください。

現時点で二次情報に依拠している箇所は、出典に(二次)と付して明記しています。

• NYT v. OpenAI(S.D.N.Y. MTD opinion, 2025-04-04)(一次)
• Getty Images v. Stability AI([2025] EWHC 2863 (Ch))(一次・英国 High Court)
• Andersen v. Stability AI(N.D. Cal. redacted order)(一次)
• Kadrey v. Meta(N.D. Cal., Justia docket)(一次)

2025-2026 進展(訴訟件数 / GEMA / Cloudflare / ホスト別防御 / 規制カレンダー)

以下は本記事の 2025-2026 動向の根拠です(取得日 2026-05-29、各末尾に出典種別)。訴訟の status・日付は流動的で、docket の細部は二次到達のものを含みます。

訴訟(米国・EU):

• In re: OpenAI 著作権侵害 MDL(NYT 等統合、S.D.N.Y.)(一次・訴訟記録)
• Bartz v. Anthropic fair use SJ order(Doc.231)(一次・判決)/ docket 3:24-cv-05417(CourtListener)(二次・docket)/ 和解解説(Authors Guild)(二次)
• Thomson Reuters v. Ross Intelligence(D. Del. 一次 opinion, 2025-02-11)(一次・判決文)/ 控訴 docket(第 3 巡回区、CourtListener 検索)(二次)
• Kadrey v. Meta(N.D. Cal.)(一次・訴訟記録)
• Andersen v. Stability AI(N.D. Cal.)(一次・訴訟記録)
• GEMA v. OpenAI(独ミュンヘン地裁 I、GEMA 公表)(二次・当事者団体)
• Kneschke v. LAION(独ハンブルク控訴審、LAION 勝訴・BGH 上告中)= openjur 等の判決紹介(二次)
• 米国の対 AI 著作権訴訟「約 100 件超」は複数の集計トラッカー由来(二次、単一一次なし=本文は「100 件超」と幅をもたせて記載)

EU・加盟国の規制:

• EU AI Act application timeline(GPAI 2025-08 適用 / enforcement 2026-08-02、欧州委員会)(一次・EU 公式)
• GPAI Code of Practice(2025-07-10 final、欧州委員会)(一次・EU 公式)
• Italy Law 132/2025(2025-10-10 施行、官報)(一次・伊官報。「EU 加盟国初」評価は二次解説)
• UK 政府 Copyright and AI consultation response(2026-03)+ House of Lords 委員会報告(一次・英政府。licensing-first は委員会勧告 = 政府決定でない点に注意)
• カリフォルニア AB 2013(学習データ透明性、2026-01-01 施行)= 州法(一次は州議会サイト)

クローラ技術・ホスト別防御:

• IETF AIPREF WG draft-ietf-aipref-vocab(2026-04 更新)(一次・I-D)
• Anthropic「Does Anthropic crawl data from the web」(ClaudeBot / Claude-User / Claude-SearchBot)(一次・公式)
• Cloudflare「Perplexity is using stealth, undeclared crawlers」(2025-08-04、verified bot 解除)(一次・公式)
• Cloudflare「Content Independence Day」(2025-07-01、新規ドメイン既定 AI ブロック) + AI bot 統計(Radar)(一次・公式)
• xAI(Grok)の robots.txt 制御困難性 = 第三者調査報告(二次。xAI 公式仕様は未公表)
• arXiv 2505.21733(AI 検索クローラの robots.txt 準拠調査、特定 bot 名指しなし)(二次・学術)
• CAWG「Training and Data Mining Assertion」(cawg.training-mining)(一次・標準化団体)
• Vercel「AI bots managed ruleset」(GA)+ Web Bot Authentication(一次・公式)
• Netlify ドキュメント(User Agent Blocker 拡張)(一次・公式)/ GitHub Pages の HTTP ヘッダ設定不可は実務確認ベース。これらの status・日付は月単位で動きます。

このシリーズでは、公開前の権利チェック・OSS ライセンスの見極め・スクレイピングの法的境界・外部素材のライセンス・AI サービスを使う前に読む利用規約・AI 生成物の著作権 も扱っています。あわせてどうぞ。

AI 補助の透明性: 本記事は、執筆者が実務で把握していた論点をもとに、調査・整理・要点化の補助として Claude(Anthropic)を用い、その上で執筆者が一次情報(法令・行政文書・技術規格・裁判所記録など)を確認して構成しました。AI 学習を巡る法令解釈・訴訟は流動的なため、条文・施行日・判決の射程は執筆時点(2026 年 5 月)での確認結果です。現時点で二次情報・要旨に依拠した箇所は、出典に(二次)と付して明記しています。

AI を使う・作る前の権利判断を、自分の案件に記入して確認する自己判定キットを note で公開しています（有料）：権利の境界（３）〜AI を"使う"前に。入力・商用利用・権利の自己判定キット〜。

著者について

大手電機メーカーで制御工学から 20 年以上の電機・ソフトウェア開発、加えて個人開発 約 10 年の実務経験を持ちます。ハードとソフト、企業と個人の両面で「知らないとリスクになる」基礎から発信し、いずれは AI の実践的な活用法なども扱っていく予定です。詳しくは このブログについて。