検索エンジン: Googlebot、Bingbot、YandexBot、Baiduspider、DuckDuckBot、Applebot、Qwantbot、SeznamBot、Sogou。
AI & LLM クローラー: ChatGPT-User、GPTBot、Google-Extended、ClaudeBot、Claude-Web、PerplexityBot、Cohere、Anthropics、OAI-SearchBot、Quillbot、YouBot、MyCentralAIScraperBot。
SEO ツール: AhrefsBot、SemrushBot、MJ12bot、DotBot、DataForSeoBot、Awario Bot、SEOkicks、Botify、Jetslide、peer39。
ソーシャル・共有: facebookexternalhit、FacebookBot、Twitterbot (X)、Pinterestbot、Slackbot、Meta 外部フェッチャー。
セキュリティ & クラウド: AliyunSecBot、Amazonbot、Google-CloudVertexBot など。
スクレイパー & リサーチ: BLEXBot、Bytespider、CCBot、Diffbot、DuckAssistBot、EchoboxBot、FriendlyCrawler、ImagesiftBot、magpie-crawler、NewsNow、news-please、omgili、Poseidon Research Crawler、Quora-Bot、Scrapy、SeekrBot、SeznamHomepageCrawler、TaraGroup、Timpibot、TurnitinBot、ViennaTinyBot、ZoomBot、ZoominfoBot。