1. 何が起きたか
2026年10月30日、Anthropicの標準化担当者ケビン・ケリー氏が、AI学習への利用可否をrobots.txtで伝える共通の仕組みを、標準化団体IETFにInternet-Draftとして提出しました。robots.txtの「User-agent」行に「__usage_ai-training」というトークンを書き、その下の「Disallow」を学習に使わないでほしい意向、「Allow」を使ってよい意向として扱います。新しい命令や文法は増えません（IETFのドラフト）。同日、Google、Microsoft、OpenAIが対応する方針を発表したと、ITmedia NEWSが報じています。
ドラフトの例では、「User-Agent: __usage_ai-training」の下に「Disallow: /」と「Allow: /press-kit/」を並べると、/press-kit/以外は学習に使わないでほしいという意思表示になります。この指定はクロール自体の禁止ではなく、従来の個別クローラー向けルールとは独立しています。トークンを書かなければ、学習について何も表明していない扱いです（ITmedia NEWS）。なおこのドラフトは個人名義の提出で、現時点ではIETFの標準としての正式な地位はありません。
2. 各社の対応時期
Googleは「2027年に、他のAI企業とともに対応を目指す」と公式ブログに書いています。共通トークンで学習を拒否し、かつGoogle-Extendedを明示的に指定していないサイトは、Google-Extendedでも拒否したものとして扱う予定です。Google-Extendedは引き続き使えます（Google Search Central Blog）。
Microsoftは2027年2月1日から、クロールに合わせて新しい設定を読み始めます。robots.txtの共通トークンに加え、ページ単位で学習と「グラウンディング」（回答を作るときにWebページを参照すること）を別々に指定できるようになり、ページ単位の学習設定はrobots.txtより優先されます。従来のNoArchive／NoCacheは新設定に置き換わり、使っているサイトは2027年3月1日までに移行する必要があります。グラウンディングの制限を保ちたい場合は、2026年12月15日に開くBing Webmaster Toolsの暫定設定も記録します（Microsoft Bing Blogs）。
OpenAIは数カ月以内の対応を目指し、実装時に詳細を公表するとされています。これはITmedia NEWSの報道によるもので、OpenAIのページは当社の環境では開けず、原文では確認できていません（ITmedia NEWS）。Anthropicも実装を進めていると同記事は伝えています。
3. なぜ中小企業に関係するか
これまでは、AI企業ごとにクローラー名を調べ、それぞれにルールを書き分ける必要がありました。共通トークンが使えれば、robots.txtに数行足すだけで、対応した各社への意思表示が済みます。Googleは、この方式がEUのAI規制法に基づく汎用AIモデル提供者向け行動規範と整合すると説明しています（Google Search Central Blog）。一方で、Microsoftは学習への利用を断ったうえで「グラウンディングも止めると、AIの回答の中でのブランドの見え方が下がる」と注意しています（Microsoft Bing Blogs）。
当社の見方 学習を断ることと、AIの回答に載ることは別の選択です。当社は、自社サイトの情報を学習に使われたくない会社でも、検索やAIの回答の中で社名と商品が出ることは望むはずで、この二つを分けて決めるべきだと考えます。何も決めずに放置すると、価格表や独自の解説記事が意図せず学習に使われます。逆に、よく分からないまま全面拒否すると、AIが取引先候補を比べる場面で名前が出なくなるおそれがあります。どちらの損も、決めていない会社だけが負います。まず、載せたい情報と守りたい情報を分けて書き出すことから始めてください。
4. 中小企業がいま確認すること
- 自社サイトのrobots.txt（https://自社ドメイン/robots.txt）を開き、いまの記述を確認する。WordPressやショップ用サービスでは、管理画面や制作会社が自動で書いていることがある
- 載せたい情報（会社案内、商品、料金）と、学習に使われたくない情報（独自の解説記事、写真、会員向けページ）を分けて書き出す
- NoArchiveやNoCacheのタグをページに入れていないか、制作会社に確認する。入れている場合、Microsoftのサイトでは2027年3月1日が移行の期限になる
- 各社の対応は2027年の見込みで、ドラフトも標準になるか未定のため、いまは書き方を急がず、Google-ExtendedなどAI各社の個別指定が現状の手段であることを前提に準備する
- robots.txtを誰が更新するのか、制作会社との保守契約に含まれているかを確かめる
当社の展望
今後6か月から2年で、AI学習の可否をrobots.txtに書くことが、会社概要や特定商取引法の表記と同じ「サイトの基本設定」になっていくと当社は見ています。AIが商品や業者を調べて比べる使い方が広がるほど、サイトは「人に読ませる文書」であると同時に、「AIに使い方を宣言する文書」になります。意思表示のないサイトは、各社の既定の扱いに任されます。学習に使わせない情報と、AIの回答に載せたい情報を早めに分け、サイトの構造とrobots.txtに反映した会社が、自社の情報の使われ方を自分で決められる側に回ります。いまが布石を打つ時期です。
この記事に関するよくあるご質問
robots.txtでAI学習を断る共通の仕組みとは何ですか
2026年10月30日にIETFへ提出されたドラフトで、robots.txtの「User-agent: __usage_ai-training」の下に「Disallow: /」と書くと、AI学習に使わないでほしい意向を示せます。クロール自体の禁止ではなく、トークンを書かなければ何も表明していない扱いです。Google、Microsoft、OpenAIが対応方針を発表しており、Googleは2027年を目指しています。
今すぐrobots.txtを書き換える必要がありますか
急ぐ必要はありません。Googleは2027年、Microsoftは2027年2月1日から新しい設定を読み始める予定で、ドラフトも正式な標準になるかは未定です。ただしNoArchiveやNoCacheを使っているサイトは、Microsoft向けに2027年3月1日までの移行が必要です。まず現状のrobots.txtと、載せたい情報・守りたい情報の区分を確認してください。
AI学習を断ると、AIの回答に自社が出なくなりますか
学習の拒否と、回答を作るときの参照（グラウンディング）は別の設定です。Microsoftは両者を独立して指定できるようにし、グラウンディングまで制限するとAIの回答でのブランドの見え方が下がると注意しています。学習だけを断るのか、参照も止めるのかは、載せたい情報の範囲を決めたうえで選んでください。
参考
- draft-kelley-aipref-training-preference-signal-00: Machine-Readable Training Preference Signal (IETF, 2026-10-30)datatracker.ietf.org
- Supporting a shared AI training control for websites (Google Search Central Blog)developers.google.com
- Your content, your choice: clearer preferences for training and grounding (Microsoft Bing Blogs, 2026-10-30)blogs.bing.com
- AI学習への利用拒否をrobots.txtで一括指定へ OpenAIやGoogleなどが対応表明 (ITmedia NEWS)itmedia.co.jp