Generador de robots.txt
Crea archivos robots.txt personalizados.
¿Cómo funciona este generador?
Configura las reglas para cada tipo de rastreador (user-agent). Puedes definir qué rutas están permitidas (Allow) y cuáles están bloqueadas (Disallow). Añade la URL de tu sitemap y copia el resultado. El formato generado sigue el estándar del protocolo de exclusión de robots.
Buenas prácticas para robots.txt
No bloquees los recursos CSS y JavaScript que Google necesita para renderizar tu página. Incluye siempre la URL de tu sitemap. No uses robots.txt como medida de seguridad — no impide que una página sea indexada si hay enlaces externos hacia ella.
Preguntas frecuentes
¿Qué es un archivo robots.txt?▾
Es un archivo de texto que se coloca en la raíz de tu sitio web para indicar a los rastreadores de buscadores (como Googlebot) qué páginas pueden o no pueden rastrear. Es parte del protocolo de exclusión de robots.
¿Dónde debo colocar el archivo robots.txt?▾
Debe estar en la raíz de tu dominio: https://tudominio.com/robots.txt. Los buscadores lo buscan automáticamente en esa ubicación.
¿robots.txt bloquea la indexación?▾
No necesariamente. robots.txt impide el rastreo, pero Google puede indexar una URL si la encuentra enlazada en otros sitios. Para evitar la indexación, usa la etiqueta meta robots noindex.