Spider.es est né d'une question simple : quels bots peuvent voir mon contenu en ce moment ? En quelques secondes, le service inspecte votre robots.txt, vos balises meta robots et les en-têtes X-Robots-Tag pour dévoiler ce que chaque crawler est autorisé à faire et la règle qui motive cette décision.

Un copilote pour votre SEO technique

Le rapport met en lumière les problèmes récurrents : disallow hérités qui bloquent toujours des sections clés, en-têtes contradictoires ou ressources statiques indispensables au rendu mais inaccessibles. Cette visibilité vous permet de prioriser les correctifs qui préservent votre trafic et votre budget de crawl.

Ce que contient chaque rapport

• Une sélection de bots (recherche, IA, outils SEO, scrapers) avec leur statut d'accès.
• La directive exacte (robots, meta ou en-tête) qui justifie chaque résultat.
• Des métadonnées techniques utiles : sitemaps déclarés, IP du domaine, fichiers spéciaux, etc.

Spider.es évolue en continu. Attendez-vous à des historiques enrichis et à des automatisations pour les équipes multi-domaines. Des idées ? Nous serions ravis de les entendre.

Prêt à analyser votre site ? Rendez-vous sur la page d'accueil et saisissez le domaine à auditer.