Las empresas de IA leen webs todo el día, y quienes las gestionan casi nunca ven que ocurre. Tu analítica muestra a los lectores que llegan desde ChatGPT o Perplexity, pero no a los rastreadores que leyeron tus páginas de camino a esas respuestas.
Los dos números van juntos. Uno es lo que las empresas de IA se llevan de tu web. El otro, los lectores que sus asistentes te devuelven. Compararlos es la forma de saber si la IA es para ti una fuente de tráfico o, sobre todo, un coste.
Tres tipos de rastreador de IA
Las grandes empresas de IA no tienen un único rastreador cada una. Tienen varios, y cada uno hace un trabajo distinto.
Un rastreador de entrenamiento recopila páginas para entrenar futuros modelos. GPTBot (OpenAI) y ClaudeBot (Anthropic) son los más conocidos. Lo que se llevan acaba en un modelo meses después, sin ningún enlace de vuelta a tu web.
Un rastreador de búsqueda construye el índice en el que un asistente busca cuando responde a una pregunta. OAI-SearchBot, Claude-SearchBot y PerplexityBot hacen esto. Estar en ese índice es lo que permite que un asistente cite tu página y la enlace.
Un lector bajo demanda (user fetcher) lee una página en directo, porque alguien hizo una pregunta y el asistente decidió que tu página le serviría. ChatGPT-User, Claude-User y Perplexity-User funcionan así. Cada una de esas lecturas es la pregunta de una persona real respondida con tu contenido, normalmente sin que esa persona llegue a abrir tu página.
Google funciona de otra manera. Buena parte de su lectura para IA la hace el mismo Googlebot que rastrea para Search, así que no puedes bloquear la IA de Google por nombre de rastreador sin dejar fuera también Search. Google-Extended es un token de robots.txt, no un rastreador. Controla si tu contenido se usa para entrenar Gemini y para fundamentar sus respuestas, y Google asegura que no afecta a Search.
El directorio de bots lista los rastreadores de IA que Vireo reconoce, con la función de cada uno.
Por qué tu analítica no los ve
La mayoría de las herramientas de analítica cuentan una visita cuando se ejecuta un pequeño script en el navegador del lector. Los rastreadores descargan el HTML de la página y siguen su camino. Casi nunca ejecutan JavaScript, así que un sistema de seguimiento basado en scripts no se entera de que han pasado. Por eso los rastreadores de IA que leen tu web no aparecen en tus cifras de visitantes, y por eso tampoco puedes saber cuántos son.
Para contarlos hay que captar la petición en el servidor, en el momento en que el rastreador pide la página. Vireo lo hace dentro de WordPress. Reconoce más de 800 bots con nombre por su user agent, clasifica cada petición en una categoría, como rastreadores de IA o buscadores, y los deja a todos fuera de tus totales de visitantes y páginas vistas. En cuánto de tu tráfico son bots está el resto de ese filtrado.
La otra mitad está en tus referentes. Cuando alguien hace clic en un enlace dentro de ChatGPT, Gemini o Claude, la visita suele llegar con la dirección del asistente como origen. Vireo agrupa esas visitas por asistente, de modo que ChatGPT y Perplexity tienen cada uno su línea en lugar de perderse en una larga lista de referentes.
Consulta tu propia proporción en Vireo
En WordPress, abre Vireo Analytics y cambia a la pestaña Búsqueda e IA. La tarjeta Asistentes de IA muestra tres cifras para el intervalo de fechas que hayas elegido:
- Páginas que se llevaron sus rastreadores: las peticiones de rastreadores de IA que retuvo el filtro de bots.
- Lectores que devolvieron: visitas que llegaron siguiendo un enlace dentro de un asistente.
- Páginas llevadas por lector devuelto: la primera dividida entre la segunda.
Debajo, una tabla indica cuántos lectores envió cada asistente. La tarjeta aparece cuando hay algo que mostrar, así que puede que una instalación recién estrenada todavía no la tenga.
Elige un intervalo de unas semanas o más. Los envíos de los asistentes son cifras pequeñas en la mayoría de las webs, y una sola semana oscila demasiado para sacar nada en claro.
Un número alto en la tercera casilla te dice que las empresas de IA leen de tu web mucho más de lo que te envían en lectores. Si eso es un problema depende de lo que quieras de la IA, y la tarjeta te enseña el tamaño del intercambio.
Lo que cuenta y lo que se le escapa
La cifra de lectores solo cuenta las visitas que llegaron con el asistente como origen. Algunos asistentes y aplicaciones eliminan esa información, y quien lee una respuesta y luego escribe tu dirección llega como tráfico directo. Tómala, por tanto, como el mínimo de lo que envían los asistentes.
Tus opciones en el robots.txt y lo que cuesta cada una
Los rastreadores de OpenAI, Anthropic y Perplexity leen el robots.txt, el archivo de texto plano en la raíz de tu web que les dice qué pueden descargar. Cada rastreador tiene su propio nombre en el archivo, así que puedes permitir una función y rechazar otra.
Bloquear los rastreadores de entrenamiento mantiene tu contenido nuevo fuera de los modelos futuros. Te cuesta casi nada en visitas, porque los rastreadores de entrenamiento nunca envían lectores. Es la decisión más barata:
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: Google-Extended
Disallow: /
Bloquear los rastreadores de búsqueda te saca de los índices de búsqueda de los asistentes. Tus páginas dejan de citarse y los lectores que habrían seguido esas citas dejan de llegar. Si los asistentes te envían algo que merezca la pena conservar, esta es la decisión que te lo quita.
Bloquear los lectores bajo demanda es lo menos fiable. Anthropic dice que sus rastreadores, Claude-User incluido, respetan el robots.txt. OpenAI dice que las reglas del robots.txt pueden no aplicarse a ChatGPT-User, porque la petición la inicia una persona, y Perplexity afirma que Perplexity-User suele ignorar el robots.txt por la misma razón. En esos dos casos, una regla del robots.txt puede no detener la petición. Para pararlos con seguridad hay que bloquear en el servidor o en la CDN, por user agent o por los rangos de IP que publican las empresas.
Permitirlo todo también es una decisión. Te mantiene en todos los índices y en todas las respuestas en directo, y la tarjeta Asistentes de IA te dice lo que eso te está aportando.
WordPress genera un robots.txt por ti si no hay ningún archivo en disco. Para cambiarlo, sube tu propio robots.txt a la carpeta raíz de la web o usa el editor de robots.txt de tu plugin de SEO, si lo tiene. Después de cambiarlo, abre tuweb.com/robots.txt en el navegador y comprueba que las reglas están ahí.
Comprueba si el bloqueo ha funcionado
Un bloqueo se nota en la primera cifra de la tarjeta. Espera un par de semanas tras el cambio y compara un intervalo de la misma duración antes y después. Los rastreadores que bloqueaste deberían ir desapareciendo. Si alguno sigue descargando páginas, o ignora el archivo o usa un nombre que no bloqueaste. La página de ChatGPT-User y el resto del directorio de bots muestran los nombres exactos que debes usar.
Para ver cómo clasifica Vireo un rastreador concreto, ve a Vireo Analytics, Ajustes, Solución de problemas, y usa la Prueba del filtro de bots. Pega el user agent de los registros de tu servidor y te dice si Vireo lo cuenta y en qué categoría lo clasifica. La documentación del filtrado de bots cubre el resto.