Les entreprises d’IA lisent des sites web à longueur de journée, et ceux qui les gèrent ne voient presque jamais rien. Vos statistiques montrent les lecteurs qui arrivent depuis ChatGPT ou Perplexity. Elles ne montrent pas les crawlers qui ont lu vos pages pour produire ces réponses.
Les deux chiffres vont ensemble. L’un, c’est ce que les entreprises d’IA prennent à votre site. L’autre, ce sont les lecteurs que leurs assistants vous envoient. Les comparer permet de savoir si l’IA est pour votre site une source de trafic ou surtout un coût.
Trois types de robots d’exploration IA
Les grandes entreprises d’IA n’ont pas un seul crawler chacune. Elles en ont plusieurs, et chacun a un rôle différent.
Un crawler d’entraînement collecte des pages pour entraîner les futurs modèles. GPTBot (OpenAI) et ClaudeBot (Anthropic) sont les plus connus. Ce qu’ils prennent se retrouve dans un modèle quelques mois plus tard, sans le moindre lien vers vous.
Un crawler de recherche construit l’index qu’un assistant interroge pour répondre à une question. OAI-SearchBot, Claude-SearchBot et PerplexityBot font ce travail. Figurer dans cet index, c’est ce qui permet à un assistant de citer votre page et de pointer vers elle.
Un user fetcher lit une page en direct, parce que quelqu’un a posé une question et que l’assistant a jugé votre page utile. ChatGPT-User, Claude-User et Perplexity-User fonctionnent ainsi. Chaque requête, c’est la question d’une vraie personne à laquelle on répond avec votre contenu, le plus souvent sans que cette personne ouvre votre page.
Google fait les choses autrement. Une bonne part de sa lecture pour l’IA passe par le même Googlebot qui explore pour la Recherche : impossible de bloquer l’IA de Google par nom de crawler sans quitter aussi la Recherche. Google-Extended est un jeton de robots.txt, pas un crawler. Il détermine si votre contenu sert à entraîner Gemini et à fonder ses réponses, et Google affirme qu’il n’a aucun effet sur la Recherche.
L’annuaire des robots liste les robots d’exploration IA que Vireo reconnaît, avec le rôle de chacun.
Pourquoi vos statistiques ne les voient pas
La plupart des outils d’analytics comptent une visite quand un petit script s’exécute dans le navigateur du lecteur. Les crawlers récupèrent le HTML de la page et passent à la suivante. Ils n’exécutent presque jamais de JavaScript, donc un traceur à base de script n’en entend jamais parler. C’est pourquoi les robots d’exploration IA qui lisent votre site n’apparaissent pas dans vos chiffres de visiteurs, et aussi pourquoi vous ne pouvez pas savoir combien ils sont.
Pour les compter, il faut intercepter la requête côté serveur, au moment où le crawler demande la page. Vireo le fait au sein de WordPress. Il reconnaît plus de 800 robots nommés grâce à leur user agent, range chaque requête dans une catégorie, comme robots d’exploration IA ou moteurs de recherche, et les exclut tous de vos totaux de visiteurs et de pages vues. La part des robots dans votre trafic détaille le reste de ce filtrage.
L’autre moitié se trouve dans vos référents. Quand quelqu’un clique sur un lien dans ChatGPT, Gemini ou Claude, la visite arrive en général avec l’adresse de l’assistant comme source. Vireo regroupe ces visites par assistant : ChatGPT et Perplexity ont chacun leur ligne au lieu de se perdre dans une longue liste de référents.
Voir votre propre ratio dans Vireo
Dans WordPress, ouvrez Vireo Analytics et passez à l’onglet Recherche et IA. La carte Assistants IA affiche trois chiffres pour la période choisie :
- Pages prises par leurs crawlers : les requêtes de robots d’exploration IA retenues par le filtre anti-robots.
- Lecteurs renvoyés : les visites arrivées en suivant un lien dans un assistant.
- Pages prises pour chaque lecteur renvoyé : le premier chiffre divisé par le second.
En dessous, un tableau indique combien de lecteurs chaque assistant a envoyés. La carte apparaît dès qu’il y a quelque chose à montrer, donc une installation toute neuve peut ne pas l’avoir encore.
Choisissez une période de plusieurs semaines au minimum. Les renvois depuis les assistants sont de petits nombres sur la plupart des sites, et une seule semaine varie trop pour être lisible.
Un grand nombre dans la troisième case vous dit que les entreprises d’IA lisent beaucoup plus de votre site qu’elles ne vous envoient de lecteurs. Que ce soit un problème ou non dépend de ce que vous attendez de l’IA, et la carte vous donne la taille de l’échange.
Ce qui est compté et ce qui échappe
Le chiffre des lecteurs ne compte que les visites arrivées avec l’assistant comme source. Certains assistants et applications effacent cette information, et celui qui lit une réponse puis tape votre adresse arrive en trafic direct. Considérez donc ce chiffre comme un plancher de ce que les assistants vous envoient.
Vos choix de robots.txt, et ce que chacun coûte
Les crawlers d’OpenAI, d’Anthropic et de Perplexity lisent le robots.txt, le fichier texte à la racine de votre site qui indique aux crawlers ce qu’ils peuvent récupérer. Chaque crawler a son propre nom dans le fichier, ce qui permet d’autoriser une mission et d’en refuser une autre.
Bloquer les crawlers d’entraînement garde vos nouveaux contenus hors des futurs modèles. Cela ne vous coûte presque rien en visites, puisque les crawlers d’entraînement n’envoient de toute façon aucun lecteur. C’est le choix le moins cher :
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: Google-Extended
Disallow: /
Bloquer les crawlers de recherche vous retire des index de recherche des assistants. Vos pages cessent d’être citées, et les lecteurs qui auraient suivi ces citations ne viennent plus. Si les assistants vous envoient quelque chose qui mérite d’être gardé, c’est ce choix qui le coûte.
Bloquer les user fetchers est le moins fiable. Anthropic indique que ses crawlers, Claude-User compris, respectent le robots.txt. OpenAI précise que les règles du robots.txt peuvent ne pas s’appliquer à ChatGPT-User, puisque c’est une personne qui déclenche la requête, et Perplexity dit que Perplexity-User ignore en général le robots.txt pour la même raison. Pour ces deux-là, une règle de robots.txt peut ne pas arrêter la requête. Pour les stopper à coup sûr, il faut bloquer au niveau du serveur ou du CDN, par user agent ou par les plages d’IP que ces entreprises publient.
Tout autoriser est aussi un choix. Vous restez dans tous les index et dans toutes les réponses en direct, et la carte Assistants IA vous dit ce que cela rapporte.
WordPress génère un robots.txt si aucun fichier n’existe sur le disque. Pour le modifier, envoyez votre propre robots.txt dans le dossier racine du site, ou utilisez l’éditeur de robots.txt de votre extension SEO si elle en propose un. Après modification, ouvrez votresite.com/robots.txt dans un navigateur et vérifiez que les règles y sont.
Vérifier qu’un blocage a fonctionné
Un blocage se voit dans le premier chiffre de la carte. Laissez passer une ou deux semaines après le changement, puis comparez deux périodes de même durée, avant et après. Les crawlers que vous avez bloqués devraient disparaître. Si l’un continue, c’est qu’il ignore le fichier ou qu’il utilise un nom que vous n’avez pas bloqué. La page ChatGPT-User et le reste de l’annuaire des robots donnent les noms exacts à utiliser.
Pour vérifier comment Vireo classe un crawler en particulier, allez dans Vireo Analytics, Réglages, Dépannage, et utilisez le Test du filtre anti-robots. Collez le user agent tiré des logs de votre serveur : il vous dit si Vireo le compte et dans quelle catégorie il le range. La documentation sur le filtrage des robots couvre le reste.