common.you_need_to_be_loggedin_to_add_tool_in_favorites
Generador de robots.txt |
Directivas generales
Configure el comportamiento predeterminado para todos los rastreadores antes de anular las capas.
Establecer una regla global de permiso o bloqueo para el agente de usuario: *.
Limite el rendimiento de los rastreadores si su servidor necesita espacio para respirar.
Directiva de host opcional para dominios reflejados.
Una ruta por línea. Admite comodines y barras diagonales finales.
Asegúrese de que carpetas específicas permanezcan rastreables incluso cuando se bloqueen rutas más amplias.
Proporcione una URL de mapa del sitio por línea. Añada índices de mapa del sitio adicionales si los tiene.
Rastreadores comunes
Activa o desactiva los rastreadores que deseas bloquear por completo. Permite que se basen en la regla predeterminada anterior.
Reglas personalizadas
Agregue agentes de usuario con directivas de permiso o bloqueo personalizadas, retrasos de rastreo y sugerencias de mapas del sitio.
Aún no hay reglas personalizadas. Usa el botón de arriba para crear una.
Cadena de agente de usuario exacta o comodín.
Copie el archivo generado arriba y cárguelo en la raíz de su dominio como robots.txt.
Generador de robots.txt para un mejor rastreo e indexación
Robots.txt es un pequeño archivo de texto que guía a los robots de búsqueda en su sitio.
Utilice robots.txt para bloquear áreas como páginas de administración, carpetas provisionales, URL de prueba, páginas de filtrado y rutas duplicadas.
Qué significa Robots.txt en SEO
Robots.txt es parte del estándar de exclusión de robots.
tudominio.com/robots.txt
Los motores de búsqueda suelen comprobar este archivo con antelación porque les proporciona instrucciones claras de rastreo.
Un punto importante:
- Robots.txt controla el rastreo
- No garantiza la indexación
Si desea confirmar que una página puede aparecer en los resultados de búsqueda, utilice una verificación de indexabilidad.
Por qué Robots.txt ayuda con el presupuesto de rastreo
Los motores de búsqueda no rastrean todas las páginas todos los días.
Si su sitio es lento o arroja errores, los rastreadores pueden visitar menos páginas por ejecución.
Para obtener mejores resultados, utilice robots.txt con un mapa del sitio:
- Robots.txt guía a los robots sobre qué rastrear u omitir
- El mapa del sitio enumera las páginas que desea rastrear e indexar.
Reglas de Robots.txt que debes conocer
Un archivo robots.txt utiliza algunas directivas simples.
- Agente de usuario
- Establece a qué bot se aplica la regla
- No permitir
- Bloquea el rastreo de una carpeta o ruta
- Permitir
- Abre una ruta específica dentro de una carpeta bloqueada
- Retraso de rastreo
- Solicita un rastreo más lento para algunos bots (no todos los bots lo siguen)
Un pequeño error puede bloquear páginas importantes, incluidas categorías clave o páginas de destino principales.
Por qué los sitios de WordPress a menudo necesitan Robots.txt
WordPress puede crear muchas URL que no ayudan al SEO, como páginas de búsqueda interna, algunas páginas de archivo y URL basadas en parámetros.
Incluso en sitios más pequeños, un archivo robots.txt limpio es una configuración inteligente.
Diferencia entre Robots.txt y Sitemap
Un mapa del sitio ayuda a los motores de búsqueda a descubrir las páginas que desea rastrear.
- El mapa del sitio mejora el descubrimiento
- Robots.txt controla el acceso de rastreo
La mayoría de los sitios web se benefician del uso de ambos.
Cómo crear Robots.txt usando este generador
Robots.txt es simple, pero no perdona.
Establecer acceso predeterminado
Elija si todos los robots pueden rastrear su sitio de forma predeterminada.
Agregue la URL de su mapa del sitio
Incluya su mapa del sitio para que los rastreadores puedan encontrar sus páginas importantes más rápido.
Agregue rutas no permitidas con cuidado
Bloquea sólo lo que realmente no quieres que se rastree.
/admin/ o /búsqueda/
Revisar antes de publicar
Vuelva a verificar que no bloqueó su página de inicio, blog, páginas de categorías o páginas de servicios principales.
Herramientas de SEO relacionadas que funcionan bien con Robots.txt
Robots.txt es una parte del SEO técnico.
- Comprobador de mapas de sitio: confirma que su mapa de sitio es válido y fácil de leer para los bots.
- Google Index Checker: verifica si una página se puede indexar y señala bloqueadores comunes como noindex.
- Comprobar código de estado HTTP: busca errores 200, 301, 404 y del servidor que pueden ralentizar el rastreo.
- Comprobador de redireccionamiento gratuito: confirma que los redireccionamientos están limpios y no están atrapados en cadenas o bucles.
- Análisis de metaetiquetas: revisa títulos, descripciones y metaetiquetas de robots para detectar errores de SEO.