Por qué tu web de CDmon podría no aparecer en las búsquedas de ChatGPT o Perplexity
Aviso comercial: esta página la ofrece Northlab Research (nombre comercial). Contacto: northlab.research@outlook.com.
Una regla de robots.txt puede indicar a los rastreadores que respetan ese archivo qué páginas no deben consultar; por sí sola no bloquea técnicamente el acceso. Por ejemplo, User-agent: * con Disallow: / pide a los rastreadores no visitar ninguna ruta del sitio.
¿Instala CDmon esa regla por defecto? No consta. En su artículo sobre robots.txt, CDmon presenta como ejemplo por defecto otra configuración: User-agent: * y Crawl-delay: 60, y indica que en CDmon la raíz del sitio corresponde a la carpeta /web. Su guía de ayuda describe el archivo como creado por el usuario y subido a la raíz del alojamiento.
OpenAI explica que OAI-SearchBot se usa para mostrar sitios en ChatGPT Search; si lo bloqueas, ChatGPT no puede consultar tu web para usarla en sus respuestas de búsqueda, aunque tu sitio aún puede aparecer como enlace de navegación. GPTBot, relacionado con el entrenamiento, se controla por separado (documentación de OpenAI). Perplexity recomienda permitir PerplexityBot para que una web pueda aparecer enlazada en sus resultados y aclara que este bot no se usa para rastrear contenido para modelos fundacionales de IA (documentación de Perplexity).
Si quieres ver qué permite o bloquea el robots.txt de tu sitio para rastreadores de IA, comprueba tu web gratis con Northlab Research. La comprobación muestra lo que el archivo permite o bloquea; no indica una «visibilidad en IA» ni permite predecir si ChatGPT, Perplexity u otro asistente citará o mostrará tu sitio. Además, robots.txt no es una barrera de seguridad y una URL bloqueada todavía puede aparecer en Google (guía de Google).
El pack de pago no está disponible por ahora; el chequeo es gratis.