Robots.txt Generator |
Direktivat e përgjithshme
Konfiguro sjelljen e parazgjedhur për të gjithë programuesit e kërkimit përpara mbivendosjes së shtresave.
Vendos një rregull global lejimi ose bllokimi për agjentin e përdoruesit: *.
Rrotulloni programet crawler nëse serveri juaj ka nevojë për hapësirë për të marrë frymë.
Direktivë opsionale e hostit për domenet e pasqyruara.
Një shteg për rresht. Mbështet wildcards dhe slash-et në fund.
Sigurohuni që dosje specifike të mbeten të skanueshme edhe kur shtigje më të gjera janë të bllokuara.
Jepni një URL të hartës së faqes për rresht. Shtoni indekse shtesë të hartës së faqes nëse i keni.
Zvarritës të zakonshëm
Aktivizoni/çaktivizoni plotësisht programet e kërkimit që dëshironi të bllokoni. Lërini të mbështeten në rregullin parazgjedhur më sipër.
Rregulla të personalizuara
Shtoni agjentë përdoruesi me direktiva të personalizuara për lejim ose bllokim, vonesa në zvarritje dhe këshilla për hartën e faqes.
Ende nuk ka rregulla të personalizuara. Përdor butonin më sipër për të krijuar një të tillë.
Varg i saktë ose me shenjë dalluese të agjentit të përdoruesit.
Kopjoni skedarin e gjeneruar më sipër dhe ngarkojeni atë në rrënjën e domenit tuaj si robots.txt.
Gjeneratori Robots.txt për zvarritje dhe indeksim më të mirë
Robots.txt është një skedar i vogël teksti që udhëzon robotët e kërkimit në faqen tuaj.
Përdor robots.txt për të bllokuar zona si faqet e administratorit, dosjet e skedimit, URL-të e testimit, faqet e filtrimit dhe shtigjet e kopjuara.
Çfarë do të thotë Robots.txt në SEO
Robots.txt është pjesë e standardit të përjashtimit të robotëve.
yourdomain.com/robots.txt
Motorët e kërkimit shpesh e kontrollojnë këtë skedar herët sepse u jep atyre udhëzime të qarta zvarritjeje.
Një pikë e rëndësishme:
- Robots.txt kontrollon zvarritjen
- Nuk garanton indeksimin
Nëse dëshironi të konfirmoni që një faqe mund të shfaqet në rezultatet e kërkimit, përdorni një kontroll indeksueshmërie.
Pse Robots.txt ndihmon me zvarritjen e buxhetit
Motorët e kërkimit nuk zvarriten çdo faqe çdo ditë.
Nëse faqja juaj është e ngadaltë ose kthen gabime, zvarritësit mund të vizitojnë më pak faqe për ekzekutim.
Për rezultate më të mira, përdorni robots.txt me një hartë faqeje:
- Robots.txt udhëzon robotët se çfarë të zvarriten ose të kapërcejnë
- Hapta e faqes liston faqet që dëshironi të zvarriten dhe indeksohen
Rregullat e Robots.txt që duhet të dini
Një skedar robots.txt përdor disa direktiva të thjeshta.
- Agjent përdorues
- Përcakton për cilin bot zbatohet rregulli
- Mos lejo
- Bllokon zvarritjen për një dosje ose shteg
- Lejo
- Hap një shteg specifik brenda një dosje të bllokuar
- Vonesë e zvarritjes
- Kërkon zvarritje më të ngadaltë për disa robotë (jo të gjithë robotët e ndjekin atë)
Një gabim i vogël mund të bllokojë faqe të rëndësishme, duke përfshirë kategoritë kryesore ose faqet kryesore të uljes.
Pse faqet e WordPress shpesh kanë nevojë për robots.txt
WordPress mund të krijojë shumë URL që nuk ndihmojnë SEO, të tilla si faqet e kërkimit të brendshëm, disa faqe arkivimi dhe URL të bazuara në parametra.
Edhe në sajte më të vogla, një skedar i pastër robots.txt është një konfigurim i zgjuar.
Robots.txt dhe Diferenca e Hartës së Faqes
Harta e faqes ndihmon motorët e kërkimit të zbulojnë faqet që dëshironi të zvarriten.
- Harta e faqes përmirëson zbulimin
- Robots.txt kontrollon aksesin në zvarritje
Shumica e faqeve të internetit përfitojnë nga përdorimi i të dyjave.
Si të krijoni Robots.txt duke përdorur këtë gjenerator
Robots.txt është i thjeshtë, por nuk fal.
Cakto qasjen e paracaktuar
Zgjidhni nëse të gjithë robotët mund të zvarriten sitin tuaj si parazgjedhje.
Shto URL-në e hartës së sitit
Përfshini hartën tuaj të faqes në mënyrë që zvarritësit të mund të gjejnë më shpejt faqet tuaja të rëndësishme.
Shto me kujdes shtigjet e ndaluara
Blloko vetëm atë që vërtet nuk dëshiron të zvarritet.
/admin/ ose /search/
Rishiko përpara publikimit
Kontrolloni dy herë që nuk e keni bllokuar faqen kryesore, blogun, faqet e kategorive ose faqet kryesore të shërbimit.
Mjete të ngjashme SEO që funksionojnë mirë me Robots.txt
Robots.txt është një pjesë e SEO teknike.
- Kontrolluesi i hartës së sajtit: Konfirmon se harta juaj e sitit është e vlefshme dhe e lehtë për t'u lexuar nga robotët.
- Kontrolluesi i indeksit të Google: Verifikon nëse një faqe mund të indeksohet dhe shënon bllokuesit e zakonshëm si noindex.
- Kontrollo kodin e statusit të HTTP: Gjen 200, 301, 404 dhe gabime të serverit që mund të ngadalësojnë zvarritjen.
- Kontrolluesi falas i ridrejtimit: Konfirmon që ridrejtimet janë të pastra dhe nuk janë të mbërthyera në zinxhirë ose sythe.
- Analiza e etiketave meta: Rishikon titujt, përshkrimet dhe meta etiketat e robotëve për gabimet e SEO.