Robots.txt Generator |
Directive generale
Configurați comportamentul implicit pentru toate crawlerele înainte de suprascrierile de stratificare.
Setați o regulă globală de permitere sau blocare pentru User-agent: *.
Limitează viteza crawlerelor dacă serverul tău are nevoie de spațiu.
Directivă opțională gazdă pentru domenii oglindite.
O cale pe linie. Acceptă wildcard-uri și bare oblice la final.
Asigurați-vă că anumite foldere rămân accesibile prin crawling chiar și atunci când căile mai largi sunt blocate.
Furnizați câte o adresă URL pentru harta site-ului pe fiecare rând. Adăugați indexuri suplimentare pentru harta site-ului, dacă aveți.
Crawler-e comune
Activează/dezactivează crawlerele pe care dorești să le blochezi complet. Lasă-le permisiunea de a se baza pe regula implicită de mai sus.
Reguli personalizate
Adăugați agenți utilizator cu directive de permitere sau blocare personalizate, întârzieri la accesarea cu crawlere și indicii pentru harta site-ului.
Încă nu există reguli personalizate. Folosește butonul de mai sus pentru a crea una.
Șir de caractere exact sau wildcard pentru user-agent.
Copiați fișierul generat mai sus și încărcați-l în rădăcina domeniului dvs. ca robots.txt.
Generator Robots.txt pentru o mai bună crawling și indexare
Robots.txt este un fișier text mic care ghidează roboții de căutare de pe site-ul dvs.
Folosiți robots.txt pentru a bloca zone precum paginile de administrare, dosarele de pregătire, adresele URL de testare, paginile de filtrare și căile duplicate.
Ce înseamnă Robots.txt în SEO
Robots.txt face parte din standardul de excludere a roboților.
domeniul tău.com/robots.txt
Motoarele de căutare verifică adesea acest fișier devreme, deoarece le oferă instrucțiuni clare de accesare cu crawlere.
Un punct important:
- Robots.txt controlează crawlingul
- Nu garantează indexarea
Dacă doriți să confirmați că o pagină poate apărea în rezultatele căutării, utilizați o verificare a indexabilității.
De ce Robots.txt ajută cu bugetul de accesare cu crawlere
Motoarele de căutare nu accesează cu crawlere fiecare pagină în fiecare zi.
Dacă site-ul dvs. este lent sau returnează erori, crawlerele pot vizita mai puține pagini pe rulare.
Pentru cele mai bune rezultate, utilizați robots.txt cu un sitemap:
- Robots.txt îi îndrumă pe roboți despre ce să acceseze cu crawlere sau să omite
- Haptul site-ului listează paginile pe care doriți să le accesați cu crawlere și să le indexați
Reguli Robots.txt pe care ar trebui să le cunoașteți
Un fișier robots.txt folosește câteva directive simple.
- Agent-utilizator
- Setează la ce bot se aplică regula
- Interziceți
- Blochează accesarea cu crawlere pentru un dosar sau o cale
- Permite
- Deschide o anumită cale în interiorul unui folder blocat
- Întârzierea accesării cu crawlere
- Solicită accesarea cu crawlere mai lentă pentru unii roboți (nu toți roboții îl urmează)
O mică greșeală poate bloca pagini importante, inclusiv categorii cheie sau pagini de destinație de bază.
De ce site-urile WordPress au adesea nevoie de Robots.txt
WordPress poate crea multe adrese URL care nu ajută la SEO, cum ar fi paginile de căutare interne, unele pagini de arhivă și adresele URL bazate pe parametri.
Chiar și pe site-uri mai mici, un fișier robots.txt curat este o configurare inteligentă.
Diferența dintre Robots.txt și Sitemap
Harta site-ului ajută motoarele de căutare să descopere paginile pe care doriți să le accesați cu crawlere.
- Sitemap îmbunătățește descoperirea
- Robots.txt controlează accesul cu crawlere
Majoritatea site-urilor web beneficiază de folosirea ambelor.
Cum se creează Robots.txt folosind acest generator
Robots.txt este simplu, dar nu este iertător.
Setați accesul implicit
Alegeți dacă toți roboții vă pot accesa cu crawlere site-ul în mod implicit.
Adăugați adresa URL a sitemapului dvs.
Includeți harta dvs. de site, astfel încât crawlerele să vă poată găsi mai rapid paginile importante.
Adăugați cu atenție căi nepermise
Blocați doar ceea ce nu doriți să fie accesat cu crawlere.
/admin/ sau /search/
Examinați înainte de publicare
Verificați din nou dacă nu v-ați blocat pagina de pornire, blogul, paginile de categorii sau paginile principale de servicii.
Instrumente SEO conexe care funcționează bine cu Robots.txt
Robots.txt este o parte a SEO tehnic.
- Verificator sitemap: confirmă că harta dvs. de site este validă și ușor de citit de către roboți.
- Google Index Checker: verifică dacă o pagină poate fi indexată și semnalează blocanții obișnuiți, cum ar fi noindex.
- Verificați codul de stare HTTP: găsește erori 200, 301, 404 și de server care pot încetini accesarea cu crawlere.
- Verificator gratuit de redirecționare: confirmă că redirecționările sunt curate și nu sunt blocate în lanțuri sau bucle.
- Analiza meta-etichetelor: examinează titlurile, descrierile și metaetichetele roboților pentru greșelile SEO.