AIクローラー
別名・英語表記: AI crawler ／ AIボット ／ GPTBot ／ OAI-SearchBot ／ ClaudeBot ／ PerplexityBot
AIクローラーとは、AIサービスの提供会社が、AIモデルの学習やAI検索の回答作成のために、ウェブページを自動で収集するプログラム（ボット）のことです。
AIクローラーをくわしく
AIクローラーは目的ごとに分かれていることが多く、たとえばOpenAIは、ChatGPTの検索結果に表示するための「OAI-SearchBot」と、モデルの学習に使う可能性のあるコンテンツを収集する「GPTBot」を別々に公開しています。どちらもrobots.txtで制御できます。
Anthropicは「ClaudeBot」（学習用）、「Claude-SearchBot」（検索品質の向上）、「Claude-User」（ユーザーの質問に応じたアクセス）を、Perplexityは「PerplexityBot」（検索結果への表示）と「Perplexity-User」を公開しています。ユーザーの操作にもとづくアクセス（ChatGPT-UserやPerplexity-Userなど）には、robots.txtが適用されない場合があります。
学習用のクローラーを拒否しても、検索用のクローラーを許可していれば、AI検索の回答で参照される可能性は残ります。目的ごとに許可・拒否を決めることが大切です。
LLMO対策で押さえるポイント
- robots.txtで、AI検索用のクローラー（OAI-SearchBot、PerplexityBotなど）を意図せずブロックしていないか確認する
- 学習用と検索用のクローラーを分けて、許可・拒否の方針を決める
- CDNやWAFの設定でAIクローラーが遮断されていないかも確認する
関連用語
出典
掲載内容は2026年10月時点の公開情報にもとづきます。