この記事のポイント
- 01robots.txtに共通トークンを記述し、複数のAI企業へ学習利用の拒否を一括で表明できる。
- 02従来のクロール制御とは独立しており、サイトへのアクセス自体を遮断するものではない。
- 03OpenAIは数カ月以内、Microsoftは2027年2月、Googleは2027年の対応を目指している。
米OpenAI、米Google、米Microsoftの各社は2026年10月30日(現地時間)、Webサイト運営者がAIモデルの学習へのコンテンツ利用拒否を一括指定できる共通の仕組みに対応する方針をそれぞれ発表した。米Anthropicも実装を進めていると、ITmedia NEWSが報じた。
これまではAIを開発する企業ごとに個別の設定を用意して指示を書き分ける必要があったが、新たな仕様により1つの共通シグナルで複数の事業者に意思を伝えられるようになる。
robots.txtに共通トークンを記述、企業別の設定を1本化
新仕様は、Anthropicの標準化担当者であるケビン・ケリー氏が2026年10月30日(現地時間)付で標準化団体IETF(インターネット技術の標準化を推進する団体)に提出したインターネット標準の草案「Machine-Readable Training Preference Signal(draft-kelley-aipref-training-preference-signal-00)」で提案された。
Webサイト運営者は、検索エンジンなどの自動巡回プログラム(クローラー)のアクセス方針を指示するファイル「robots.txt」に、共通の識別子(ポリシートークン)「__usage_ai-training」を記載する。記述方法は従来のrobots.txtと同じ形式を用いる。
User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/
上記のように記述した場合、サイト内の全コンテンツについてAI学習への利用拒否を示しつつ、「/press-kit/」の配下のみ学習への利用を許可するという意向を表現できる。ケリー氏がIETFのメーリングリストで説明した内容によると、既存の規格(RFC 9309)で定められた構文や規則を変更しないため、新仕様に対応していない既存のプログラムでもエラーを起こさず通常通り解釈されるという。
flowchart TD
A[Webサイト運営者] -->|robots.txtに記述| B["User-Agent: __usage_ai-training"]
B -->|Disallow: /| C[AI学習への利用を拒否]
B -->|Allow: /| D[AI学習への利用を許可]
C --> E[各社の生成AIモデル学習から除外]
D --> F[生成AIモデルの学習に利用可能]
style B fill:#f9f,stroke:#333,stroke-width:2px
新仕様におけるAI学習利用の意向表明の流れ
コンテンツのクロール自体は禁止せず、利用目的のみを制御
草案によると、今回の共通シグナルはコンテンツの利用目的を制御するものであり、クローラーの巡回(クロール)そのものを遮断する交通整理の信号ではない。Webページへのアクセス自体を制限したい場合は、従来通り各社のクローラー名に向けたルールを別途記述する必要がある。
また、ファイル内に共通トークンの記述が存在しない場合、あるいは「User-Agent: *」(すべての巡回プログラムを対象とする指定)が存在しても、AI学習に関する意向は「表明されていない」と判断される。過去に作成された既存のrobots.txtが意図せずAI学習拒否として扱われないよう配慮された設計だ。
対象となる「AI学習」の範囲は、生成AIモデルのパラメータ(モデルの動作を決める数値データ)を変更するための学習用途と定義されている。文章の分類や検索結果の順位付けなど、生成以外の用途のみに使われるモデルの学習は含まれない。
主要AI各社の対応時期と独自ルールとの関係
ITmedia NEWSによると、各社の対応スケジュールや運用方針には差異がある。
| 企業名 | 対応予定時期 | 主な対応内容・方針 |
|---|---|---|
| OpenAI | 今後数カ月以内 | 共通シグナルに対応し、実装時に詳細を公表。既存のクローラー制御も継続 |
| 2027年 | 共通シグナル拒否時は独自制御「Google-Extended」も拒否扱いとする | |
| Microsoft | 2027年2月1日 | robots.txtに加え、metaタグやHTTPヘッダでのページ単位制御に対応 |
| Anthropic | 実装を開始 | ドラフト作成者が所属。サービス全体への適用を進める |
Googleは、共通シグナルでAI学習拒否が示され、かつ同社独自の制御手段である「Google-Extended」の指定がない場合、Google-Extendedによる利用も拒否されたものとして扱う方針を示した。同社は、Google-Extendedを明示的に許可したWebサイトについて、AIモデル「Gemini」がWeb情報を参照して回答を生成する「グラウンディング」の対象となり、回答内で引用・紹介される機会を得られると説明している。
Microsoftは2027年2月1日から設定の読み取りと適用を開始する。同社はrobots.txtでの指定に加え、WebページのHTML内に書き込む「metaタグ」やサーバーが送信する「HTTPヘッダ」でも学習拒否を指定できるようにし、これらをrobots.txtより優先させる。さらに同社は独自のグラウンディング制御も導入し、自社サービスでの利用を認めつつ外部向けAPI経由の参照のみを遮断する設定を用意する。従来の制御設定「NoArchive」「NoCache」を利用しているサイトに対しては、2027年3月1日までに新設定へ移行するよう求めている。
欧州規制への適合と広がる制御の動き
ITmedia NEWSの報道によると、Googleは今回の共通提案について、AI学習に関する業界共通の制御手段を求めてきたWebサイト運営者や市民団体、規制当局の要請を反映したものだと説明している。欧州連合のAI規制法「EU AI Act」に基づく行動規範ではrobots.txtが機械可読な意思表示手段として位置づけられており、新仕様はこれとも整合するという。
Webサイト運営者によるAIクローラーへの制御を巡っては、米Cloudflareが2026年7月にAIクローラーを用途別に管理できる機能を全顧客向けに提供したほか、Googleも同年6月にAI検索機能へのコンテンツ利用を拒絶できる設定を「Search Console」向けに発表するなど、個別の対策機能が先行していた。
SOURCES 出典
- [ai-control] New draft: draft-kelley-aipref-training-preference-signal-00mailarchive.ietf.org
- Machine-Readable Training Preference Signaldatatracker.ietf.org
- AI学習への利用拒否をrobots.txtで一括指定へ OpenAIやGoogleなどが対応表明itmedia.co.jp
- AI学習の可否をrobots.txtで指定 Google、MS、OpenAIらが共通仕様を27年導入watch.impress.co.jp
本記事は AI を活用して作成し、筆者が確認のうえ公開しています。詳しくはAI 利用ポリシーをご覧ください。



