OpenAI は、基盤生成 AI モデルの学習利用について、robots.txt の共有 policy token __usage_ai-training を尊重する方針を示した。参加各社向けの任意の取り組みで、プロバイダごとにクローラー名を分けてルールを書き分ける運用を減らす意図。実装は今後数か月で行い、実装時に詳細を改めて共有する。同日の Microsoft Bing 告知にある AI Grounding、NoArchive / NoCache からの移行日程、ページ単位の meta / ヘッダーは OpenAI 側の告知には含まれない。
robots.txt の共有信号
IETF AI Preferences 作業部会関連の Internet-Draft が定義する policy token __usage_ai-training は、通常の robots グループの User-Agent 行に載せ、既存の Allow / Disallow だけでパス単位の学習可否 preference を表す。新しい directive 名や文法は増やさない。
サイト全体で学習拒否し、一部パスだけ許可する例:
User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/User-Agent: * のグループは policy token に解釈されない。ファイルに User-Agent: __usage_ai-training 行が無ければ、学習に関する preference は未表明。policy token はクロール可否の指令ではなく、GPTBot など各クローラー向けグループの解釈は従来どおり独立する。
OpenAI クローラー制御との関係
OpenAI の robots 制御は、検索向け OAI-SearchBot と学習向け GPTBot など用途別に分かれており、設定は互いに独立する。共有信号は既存の GPTBot 向け robots 制御に置き換わらず、引き続き尊重される。両方のボットを許可しているサイトでは、重複クロールを避けるため 1 回の取得結果を両用途に使う場合がある。Search 向けの opt-out は OAI-SearchBot で管理し、ChatGPT-User はユーザー起点の取得用で自動クロールには使わない。