Trabajas en la optimización orientada a la IA, pero no sabes cómo verificar los resultados? Saber con qué frecuencia y qué subpáginas de tu sitio visitan los bots de IA será clave para tomar decisiones adecuadas y planificar la estrategia futura. ¿Cómo comprobar el número de visitas de bots en tu sitio web? ¡Te invitamos a seguir leyendo!
¿Cómo monitorizar la visibilidad en IA? ¡Revisa los logs del servidor!
La información sobre cómo se ven las visitas de los bots de IA en tu sitio web debe buscarse en los logs del servidor. Por supuesto, las herramientas SEO más populares ofrecen módulos que teóricamente muestran la visibilidad, por ejemplo, en ChatGPT, pero conviene recordar que esto es solo una estimación. Los datos reales sobre cómo se comportan los bots específicamente en tu sitio solo los proporcionan los logs del servidor.
¿Qué son los logs del servidor? En los logs se almacenan todos los datos sobre las solicitudes y visitas al sitio web. Allí se guardan, entre otros, datos en forma de user-agent, que indican qué bot visita tu sitio, a qué subpágina accede y con qué frecuencia; estos serán los datos más importantes en el contexto de comprobar la visibilidad en herramientas de IA. ¿Cómo facilitar su análisis?
Screaming Frog Log File Analyser
En primer lugar, recomendamos la herramienta de la famosa rana SEO. Puede que conozcas Screaming Frog como un crawler SEO, pero bajo esta marca también existe otra herramienta: el mencionado Log File Analyser, que facilita enormemente el trabajo con logs.
En la herramienta podemos analizar tanto el comportamiento del bot de Google como el de los bots de herramientas LLM (en lo que nos centraremos en el contexto del artículo de hoy).
¿Cómo utilizar la herramienta?
- El primer paso es instalar la herramienta en el ordenador (funciona como aplicación, no se abre en el navegador).
- Prepara la exportación de los logs del servidor para un periodo determinado, por ejemplo, el último mes. (Las instrucciones sobre qué formatos de archivo admite la herramienta las encontrarás aquí).
- A continuación, crea un nuevo proyecto y arrastra el archivo con los logs.
- En el siguiente paso, selecciona los user-agents que deseas analizar. Puedes elegir la opción de bots de IA si quieres centrarte solo en su análisis.
- Importa los logs y comienza el análisis desde la pestaña overview, donde encontrarás un resumen de los datos. Después, revisa:
- URLs – lista de páginas visitadas por los bots, estados HTTP, tiempo de respuesta del servidor
- Response Codes – desglose específico por códigos HTTP. Aquí detectarás, por ejemplo, errores 404 o problemas del servidor (errores 5xx)
- User Agents – esta pestaña te mostrará información desglosada por el comportamiento de bots individuales
- Directories – qué secciones y directorios de tu sitio son visitados con mayor frecuencia por los bots de IA
A continuación encontrarás información que te ayudará a entender con qué objetivo el bot accede a tu sitio. Como puedes observar, normalmente un user-agent con el añadido “user” indicará visitas a la página con el fin de encontrar una respuesta a la consulta de un usuario en una herramienta de IA.
Fuente: Screaming Frog
Encontrarás una guía exhaustiva sobre el uso de Screaming Frog Log File Analyser en el sitio web de la herramienta.
Importante: la herramienta es de pago. En nuestra opinión, aun así merece la pena usarla, incluso de forma puntual, para detectar los problemas más importantes. A continuación, presentamos algunas alternativas más económicas.
Herramienta alternativa: Google Colab y Python
Una alternativa gratuita, algo más difícil de usar, es aprovechar la herramienta Google Colab y programar con ayuda de Python. ¡Tranquilo! No necesitas ser un programador avanzado que domine Python: herramientas como Claude.AI pueden ayudarte a generar el código.
Herramienta Google Colab
El procesamiento de archivos de logs en hojas de Google no será posible, ya que pesan mucho. Para analizar conjuntos de datos más grandes, Python funciona mucho mejor. Google Colab es una herramienta gratuita para ejecutar código Python y ya incorpora asistencia de IA para escribir código. Prueba a pegar allí tu prompt.
¿Qué debería incluir? Describe con precisión la sintaxis de los archivos de logs del servidor (qué datos y en qué orden aparecen en las líneas). Luego, solicita la preparación de scripts que, a partir de los archivos de logs cargados, filtren solo las líneas que correspondan a bots de IA según el nombre del user-agent, que conviene listar (los nombres puedes tomarlos de la tabla anterior de Screaming Frog).
A partir de las líneas filtradas, mediante otro prompt, solicita la generación de un script que prepare gráficos, dashboards e incluso informes completos.
El código generado de esta forma no siempre funcionará a la primera. Aquí se necesita un método de prueba y error, cambios en los prompts hasta obtener el efecto deseado. Este enfoque sin duda requiere mucha más paciencia y trabajo, pero es gratuito.
Cerber AI – herramienta de Delante
En Delante ofrecemos una opción aún más sencilla y, además, más económica que Screaming Frog. Para nuestras necesidades internas de análisis de logs, hemos desarrollado una herramienta propia dedicada, Cerber AI, cuya tarea principal es precisamente el análisis de los logs del servidor y la identificación de qué hacen los bots de IA en el sitio y qué páginas “leen”.
Gracias a Cerber AI podemos verificar si los bots de IA recorren el sitio, a qué lugares no llegan exactamente y por qué motivos. Esta herramienta permite identificar problemas reales de accesibilidad del sitio para los bots de IA y solucionarlos rápidamente. El acceso a la herramienta también está disponible para clientes individuales: ¡contáctanos para más detalles!
Captura de la herramienta propia Cerber AI
¿Cómo sacar conclusiones a partir de los logs del servidor?
El análisis de los logs del servidor puede revelar muchos problemas que pueden afectar negativamente a tu presencia en herramientas de IA. ¿En qué debes fijarte?
- Qué páginas visitan con mayor frecuencia los bots de IA – esto te dará información sobre qué páginas considera la IA como más valiosas. Tal vez aplicas en ellas soluciones diferentes al resto: contenido ampliado, más gráficos, FAQ añadidas. Esta información de los logs puede ser el punto de partida para identificar qué es lo que realmente funciona en tu caso.
- Códigos de respuesta – comprueba qué porcentaje de las páginas visitadas son, por ejemplo, errores 404, errores del servidor o páginas con código 301. Las páginas que no funcionan hacen que el bot “rebote” en tu sitio y no pueda obtener la información, lo que supone una pérdida real para ti. Si detectas estos errores, planifica su corrección.
- Tiempo de respuesta – si observas que el tiempo de respuesta de tu sitio es elevado, puede ser una señal de que Google también tiene problemas para acceder, lo que puede afectar negativamente al SEO.
- Estructura de las visitas – verifica si los bots también visitan páginas ubicadas más profundamente en la estructura. Es posible que existan áreas a las que la IA no llega. Si detectas estas “zonas grises”, puede ser una señal de que tu sitio carece de un enlazado interno adecuado y algunas páginas no son accesibles para los bots. Verifica también si las páginas que no se visitan no tienen, por ejemplo, un bloqueo para bots en el archivo robots.txt.
La visibilidad de tu sitio en IA: ¿qué conviene recordar?
Si quieres trabajar de forma consciente en la visibilidad de tu sitio en herramientas de IA y chatbots, el análisis de los logs del servidor es absolutamente clave. Solo los logs proporcionan datos reales sobre si los bots de IA visitan tu sitio, con qué frecuencia lo hacen, qué subpáginas consideran valiosas y dónde encuentran problemas.
Para analizar los logs puedes utilizar distintas herramientas, tanto de pago como gratuitas. Trata el análisis de logs como un punto de partida para identificar posibles problemas en tu sitio y, sobre esa base, prepara un plan de acción real.
Fuentes:
