En desenvolupament

Generador de Robots.txt |

Anunci

Directives generals

Configureu el comportament predeterminat per a tots els rastrejadors abans de les substitucions de capes.

Estableix una regla global de permís o bloqueig per a l'agent d'usuari: *.

Redueix els rastrejadors si el teu servidor necessita respir.

Directiva d'amfitrió opcional per a dominis duplicats.

Un camí per línia. Admet comodins i barres inclinades finals.

Assegureu-vos que carpetes específiques es puguin rastrejar fins i tot quan els camins més amplis estiguin bloquejats.

Proporcioneu una URL de mapa del lloc per línia. Afegiu índexs de mapa del lloc addicionals si en teniu.

rastrejadors comuns

Activa/desactiva els rastrejadors que vols bloquejar completament. Deixa'ls autoritzats a confiar en la regla predeterminada anterior.

Regles personalitzades

Afegiu agents d'usuari amb directives de permís o bloqueig personalitzades, retards de rastreig i pistes del mapa del lloc.

Copieu el fitxer generat anteriorment i pengeu-lo a l'arrel del vostre domini com a robots.txt.

Genereu fitxers robots.txt per controlar el comportament de rastreig del motor de cerca.
Anunci

Taula de continguts

Robots.txt Generador per a un millor rastreig i indexació

Robots.txt és un petit fitxer de text que guia els bots de cerca al teu lloc. Indica als rastrejadors quines zones poden accedir i quins camins han d'evitar. Això manté el rastreig centrat en pàgines que importen i redueix les visites desaprofitades en URLs de baix valor.

Utilitza robots.txt per bloquejar àrees com pàgines d'administració, carpetes de staging, URLs de prova, pàgines de filtre i rutes duplicades. Quan les teves regles són clares, els motors de cerca dediquen més temps a les teves pàgines importants. Això pot ajudar a descobrir contingut nou més ràpid i a mantenir-se net i previsible.

Què significa Robots.txt en SEO

Robots.txt forma part de l'estàndard d'exclusió de robots. Ho col·loques a:

yourdomain.com/robots.txt

Els motors de cerca sovint comproven aquest fitxer aviat perquè els proporciona instruccions clares per rastrejar. Si el teu lloc és petit, encara pot ser indexat sense un fitxer robots.txt. Però en llocs més grans, la manca de guia pot portar a un rastreig desaprofitat i a una descoberta més lenta de pàgines clau.

Un punt important:

  • Robots.txt controla el rastreig
  • No garanteix la indexació

Si vols confirmar que una pàgina pot aparèixer als resultats de cerca, utilitza una comprovació d'indexabilitat. Això t'ajuda a detectar senyals com noindex, recursos bloquejats o altres problemes que robots.txt no cobreix.

Per què Robots.txt ajuda amb el pressupost de rastreig

Els motors de cerca no rastregen totes les pàgines cada dia. Rastregen segons límits i senyals com la velocitat del lloc, l'estat del servidor i la freqüència amb què canvia el contingut.

Si el teu lloc va lent o retorna errors, els rastrejadors poden visitar menys pàgines per partida. Això pot retardar la indexació de noves publicacions i pàgines actualitzades. Robots.txt ajuda a reduir rastrejos desaprofitats, així que els bots passen més temps en les pàgines en què realment vols que es concentrin.

Per obtenir els millors resultats, utilitza robots.txt amb un mapa del lloc:

  • Robots.txt guia els bots sobre què rastrejar o saltar-se
  • Sitemap llista les pàgines que vols rastrejar i indexar

Robots.txt Regles que has de conèixer

Un fitxer robots.txt utilitza unes quantes directrius senzilles. Són fàcils de llegir, però cal escriure-les amb cura.

  • User-agent
  • Estableix a quin bot s'aplica la regla
  • Prohibit
  • Blocs que s'arrossegen per una carpeta o ruta
  • Permís
  • Obre un camí específic dins d'una carpeta bloquejada
  • Retard de rastreig
  • Les peticions són més lentes per a alguns bots (no tots els bots el segueixen)

Un petit error pot bloquejar pàgines importants, incloent-hi categories clau o pàgines d'aterratge principals. Per això utilitzar un generador és més segur que escriure-ho tot manualment.

Per què els llocs WordPress sovint necessiten Robots.txt

WordPress pot crear moltes URLs que no ajuden al SEO, com ara pàgines de cerca internes, algunes pàgines d'arxiu i URLs basades en paràmetres. Bloquejar àrees de baix valor ajuda els rastrejadors a passar més temps a les teves pàgines principals, entrades de blog i pàgines de productes o serveis.

Fins i tot en llocs més petits, un arxiu robots.txt net és una opció intel·ligent. Això manté les teves regles de rastreig organitzades a mesura que el lloc creix.

Robots.txt i diferència en el mapa del lloc

Un mapa del lloc ajuda els motors de cerca a descobrir les pàgines que vols rastrejar. Robots.txt controla on poden anar els bots.

  • El mapa del lloc millora el descobriment
  • Robots.txt controla l'accés rastrejat

La majoria de llocs web es beneficien d'utilitzar ambdós.

Com crear Robots.txt utilitzant aquest generador

Robots.txt és senzill, però no és indulgent. Una regla incorrecta pot bloquejar pàgines clau. Aquest generador t'ajuda a construir el fitxer de manera segura.

Establir l'accés per defecte

Tria si tots els bots poden rastrejar el teu lloc per defecte.

Afegeix la URL del mapa del teu lloc

Inclou el teu mapa del lloc perquè els rastrejadors puguin trobar les pàgines importants més ràpidament.

Afegeix amb cura els camins no permesos

Bloqueja només allò que realment no vols que s'arrossegui. Comença sempre amb una barra cap endavant, com ara:

/admin/ o /search/

Ressenya abans de publicar

Comprova que no hagis bloquejat la teva pàgina principal, blog, pàgines de categories o pàgines principals de servei.

Eines SEO relacionades que funcionen bé amb Robots.txt

Robots.txt és una part del SEO tècnic. Aquestes eines donen suport al mateix objectiu i t'ajuden a confirmar que tot funciona correctament:

Documentació de l'API disponible aviat

Documentation for this tool is being prepared. Please check back later or visit our full API documentation.

Eines relacionades