Jenereta ya Robots.txt |
Maagizo ya jumla
Sanidi tabia chaguo-msingi kwa vitambaaji vyote kabla ya kubatilisha tabaka.
Weka sheria ya kimataifa ya kuruhusu au kuzuia kwa Mtumiaji-wakala: *.
Piga vitambaa vya kukandamiza ikiwa mhudumu wako anahitaji nafasi ya kupumua.
Maagizo ya hiari ya seva pangishi kwa vikoa vilivyoakisiwa.
Njia moja kwa kila mstari. Inasaidia kadi wildcards na mikwaruzo ya nyuma.
Hakikisha folda maalum zinabaki zinaweza kutambaa hata wakati njia pana zimezuiwa.
Toa URL moja ya ramani ya tovuti kwa kila mstari. Ongeza faharasa za ramani ya tovuti zaidi ikiwa unazo.
Vitambaa vya kawaida
Badilisha vitambaa unavyotaka kuzuia kabisa. Waache viruhusiwe kutegemea sheria chaguomsingi iliyo hapo juu.
Sheria maalum
Ongeza mawakala wa watumiaji wenye maagizo maalum ya kuruhusu au kuzuia, ucheleweshaji wa kutambaa, na vidokezo vya ramani ya tovuti.
Hakuna sheria maalum bado. Tumia kitufe kilicho hapo juu kuunda moja.
Mfuatano halisi au wakala wa mtumiaji wa kadi wildcard.
Nakili faili iliyotengenezwa hapo juu na uipakishe kwenye mzizi wa kikoa chako kama robots.txt.
Jenereta ya Robots.txt ya Utambazaji Bora na Kuorodhesha
Robots.txt ni faili ndogo ya maandishi inayoongoza roboti za utafutaji kwenye tovuti yako.
Tumia robots.txt kuzuia maeneo kama vile kurasa za wasimamizi, folda za steji, URL za majaribio, kurasa za vichujio na njia zilizorudiwa.
Nini Maana ya Robots.txt katika SEO
Robots.txt ni sehemu ya kiwango cha kutengwa kwa roboti.
yourdomain.com/robots.txt
Injini za utafutaji mara nyingi hukagua faili hii mapema kwa sababu inazipa maelekezo wazi ya kutambaa.
Hoja moja muhimu:
- Robots.txt inadhibiti kutambaa
- Haihakikishi kuweka faharasa
Ikiwa unataka kuthibitisha kuwa ukurasa unaweza kuonekana katika matokeo ya utafutaji, tumia ukaguzi wa indexability.
Kwa nini Robots.txt Husaidia na Bajeti ya Kutambaa
Injini za utafutaji hazitambazi kila ukurasa kila siku.
Ikiwa tovuti yako ni ya polepole au inarudisha hitilafu, watambazaji wanaweza kutembelea kurasa chache kwa kila kukimbia.
Kwa matokeo bora, tumia robots.txt na ramani ya tovuti:
- Robots.txt huongoza roboti kuhusu nini cha kutambaa au kuruka
- Orodha za ramani ya tovuti kurasa unazotaka kutambaa na kuorodheshwa
Robots.txt Kanuni Unapaswa Kujua
Faili ya robots.txt hutumia maagizo machache rahisi.
- Wakala wa mtumiaji
- Inaweka sheria ambayo kijibu hutumika
- Usiruhusu
- Vitalu vya kutambaa kwa folda au njia
- Ruhusu
- Hufungua njia maalum ndani ya folda iliyozuiwa
- Kuchelewa kwa kutambaa
- Huomba utambazaji wa polepole kwa baadhi ya vijibu (sio vijibu vyote vinavyofuata)
Hitilafu ndogo inaweza kuzuia kurasa muhimu, ikiwa ni pamoja na makundi muhimu au kurasa za msingi za kutua.
Kwa nini Tovuti za WordPress mara nyingi zinahitaji Robots.txt
WordPress inaweza kuunda URL nyingi ambazo hazisaidii SEO, kama vile kurasa za utafutaji wa ndani, baadhi ya kurasa za kumbukumbu, na URL zinazotegemea vigezo.
Hata kwenye tovuti ndogo, faili safi ya robots.txt ni usanidi mahiri.
Robots.txt na Tofauti ya Ramani ya Tovuti
Ramani ya tovuti husaidia injini za utafutaji kugundua kurasa unazotaka kutambaa.
- Ramani ya tovuti huboresha ugunduzi
- Robots.txt hudhibiti ufikiaji wa kutambaa
Tovuti nyingi hufaidika kwa kutumia zote mbili.
Jinsi ya Kuunda Robots.txt Kwa Kutumia Jenereta Hii
Robots.txt ni rahisi, lakini sio kusamehe.
Weka ufikiaji chaguomsingi
Chagua kama roboti zote zinaweza kutambaa kwenye tovuti yako kwa chaguomsingi.
Ongeza URL ya ramani yako ya tovuti
Jumuisha ramani yako ya tovuti ili watambaji waweze kupata kurasa zako muhimu kwa haraka zaidi.
Ongeza njia zisizoruhusiwa kwa makini
Zuia tu kile ambacho hutaki kutambaa.
/admin/ au /search/
Kagua kabla ya kuchapisha
Angalia mara mbili kwamba hukuzuia ukurasa wako wa nyumbani, blogu, kurasa za kategoria, au kurasa kuu za huduma.
Vyombo vya SEO vinavyohusiana vinavyofanya kazi vizuri na Robots.txt
Robots.txt ni sehemu moja ya SEO ya kiufundi.
- Kikagua Ramani ya Tovuti: Inathibitisha kuwa ramani yako ya tovuti ni halali na ni rahisi kwa roboti kusoma.
- Kikagua Index cha Google: Huthibitisha kama ukurasa unaweza kuorodheshwa na kuripoti vizuizi vya kawaida kama vile noindex.
- Angalia Msimbo wa Hali ya HTTP: Hupata 200, 301, 404, na hitilafu za seva ambazo zinaweza polepole kutambaa.
- Kikagua Kielekezi Kingine Kisicholipishwa: Inathibitisha kuwa uelekezaji kwingine ni safi na haujakwama kwenye minyororo au vitanzi.
- Uchambuzi wa Lebo za Meta: Hukagua mada, maelezo na meta tagi za roboti kwa makosa ya SEO.