AI クローラー：誰があなたのサイトを取得し、どのトークンが何を制御するのか
あなたの市場に関する質問に答える AI エンジンはどれもウェブのコンテンツを取得しており、各ベンダーは robots.txt で許可または拒否できるユーザーエージェントのトークンを公開しています。これらのトークンは互換ではありません。モデルの学習に使われるものもあれば、エンジンが引用の元にする検索インデックスに使われるものもあり、ユーザーがいま質問したからページをその場で取得するものもあります。誤ったものを拒否すれば、何も守らないまま可視性だけを手放すことになります。
取得者の三つの種類
ベンダーのドキュメントは、きれいに三つの役割に分かれます。学習用のクローラーは、将来の基盤モデルの学習に使われる可能性があるコンテンツを収集します。検索用のクローラーは、エンジンが回答の根拠付けと引用に使う取得インデックスを構築します。ユーザー起点の取得者は、ユーザーの質問が必要とした瞬間にページを訪れます。学習に関わるのは最初の役割だけです。回答に登場できるかどうかを決めるのは残りの二つだけです。
OpenAI：GPTBot、OAI-SearchBot、ChatGPT-User
OpenAI は自社のボットを説明する文書で、まさにこの線引きに沿って記述しています。GPTBot は生成 AI の基盤モデルを学習させるためにコンテンツをクロールし、これを拒否することは、あなたのコンテンツをその学習に使うべきでないという意思表示になります。OAI-SearchBot は ChatGPT の検索機能でウェブサイトを表示するために使われ、OpenAI は、これを拒否したサイトは ChatGPT の検索の回答に表示されないと述べています。ChatGPT-User は ChatGPT と Custom GPTs におけるユーザーの操作に応じた取得を行います。これらはユーザーが起点であるため、OpenAI は robots.txt の規則が適用されない場合があると注記しており、このエージェントは検索への掲載を左右しません。実務上の要点はこうです。GPTBot を拒否しても ChatGPT の検索から外れることはありません。OAI-SearchBot を拒否すれば外れます。
Anthropic：ClaudeBot、Claude-SearchBot、Claude-User
Anthropic も三つのエージェントを説明する文書で、同じ役割分担を示しています。ClaudeBot はモデルの学習に寄与しうるウェブのコンテンツを収集し、これを拒否することは、今後のあなたの素材を学習データセットから除外すべきという合図になります。Claude-SearchBot は検索応答の関連性と正確さを高めるためにコンテンツを分析し、これを拒否するとその結果での可視性が下がる可能性があります。Claude-User は個人が Claude に質問したときにページを取得し、これを拒否すると、ユーザーのクエリのためにあなたのコンテンツが取得されなくなります。
Perplexity：PerplexityBot と Perplexity-User
Perplexity のクローラーのドキュメントには、PerplexityBot は Perplexity の検索結果でウェブサイトを表示しリンクするために存在し、AI の基盤モデル向けにコンテンツをクロールするためには使われないと記されています。したがってこれを拒否しても学習面では何も守れず、Perplexity の結果での存在を失うだけです。Perplexity-User はユーザーの操作を支えるもので、ユーザーが取得を要求したため一般に robots.txt の規則を無視します。こちらも学習には使われません。
Google：Googlebot と Google-Extended
Google-Extended は、この一覧で最も誤解されているトークンです。Google のクローラーのドキュメントによれば、これはそもそも独立したクローラーではありません。クロールは既存の Google のユーザーエージェントの下で行われ、Google-Extended は制御のために使われる robots.txt のトークンです。クロールされたコンテンツを将来の Gemini モデルの学習に使ってよいか、また Gemini Apps と Vertex AI の Grounding with Google Search における根拠付けに使ってよいかを制御します。Google は、これがサイトの Google 検索への掲載に影響せず、ランキング要因でもないと明言しています。検索内の AI 機能は、Googlebot に適用される通常の検索の制御によって管理され、Google-Extended によるものではありません。Google-Extended を拒否すれば、あなたのコンテンツは Gemini の学習から外れます。Googlebot を拒否すれば、検索とその上に築かれたすべてから外れます。
トークンごとのトレードオフ
| トークン | 拒否すると止まるもの | 拒否すると失うもの |
|---|---|---|
| GPTBot | OpenAI のモデル学習でのコンテンツ利用 | ChatGPT の検索への影響は文書化されていない |
| OAI-SearchBot | ChatGPT の検索への掲載 | ChatGPT の検索の回答に表示されること |
| ChatGPT-User | ほとんどなし。ユーザーの操作には robots.txt が適用されない場合がある | ユーザー起点でのページ取得 |
| ClaudeBot | Anthropic のモデル学習でのコンテンツ利用 | 検索面については何も文書化されていない |
| Claude-SearchBot | Claude の検索応答のためのインデックス作成 | その応答での可視性 |
| Claude-User | 個々のユーザーのクエリのための取得 | ユーザー主導のウェブ検索での可視性 |
| PerplexityBot | 学習面では何もなし。これは検索用のボット | Perplexity の結果に表示されること |
| Google-Extended | Gemini の学習と、記載された根拠付けの用途 | Google によれば、Google 検索では何も失わない |
| Googlebot | Google 検索そのもの | 検索での可視性と、その上に築かれた AI 機能 |
判断の筋道は明快です。学習用のトークンはどちらにも決められる方針上の選択ですが、検索用とユーザー用のトークンは売上の選択です。取得できないエンジンは引用もできないからです。取得用のクローラーが実際にあなたのページに到達できるかを検証するのはテクニカル SEOの領域であり、コンテンツを取得したあとに何が行われるかはGEO とは何かで扱っています。