common.you_need_to_be_loggedin_to_add_tool_in_favorites
Robots.txt ģenerators |
Vispārīgās direktīvas
Konfigurējiet visu rāpuļprogrammu noklusējuma darbību pirms slāņu ignorēšanas.
Iestatiet globālu atļaušanas vai bloķēšanas noteikumu lietotāja aģentam: *.
Ierobežojiet rāpuļprogrammas, ja jūsu serverim ir nepieciešama elpa.
Neobligāta resursdatora direktīva spoguļotiem domēniem.
Viens ceļš katrā rindā. Atbalsta aizstājējzīmes un slīpsvītras beigās.
Nodrošiniet, lai konkrētas mapes joprojām varētu pārmeklēt pat tad, ja ir bloķēti plašāki ceļi.
Katrā rindā norādiet vienu vietnes kartes URL. Pievienojiet papildu vietnes kartes indeksus, ja tādi ir.
Parastie rāpotāji
Pārslēdziet rāpuļprogrammas, kuras vēlaties pilnībā bloķēt. Ļaujiet tām paļauties uz iepriekš minēto noklusējuma noteikumu.
Pielāgotas kārtulas
Pievienojiet lietotāju aģentus ar pielāgotām atļaušanas vai bloķēšanas direktīvām, pārmeklēšanas aizkavējumiem un vietnes kartes padomiem.
Vēl nav pielāgotu noteikumu. Lai tos izveidotu, izmantojiet iepriekš redzamo pogu.
Precīza vai aizstājējzīmju lietotāja aģenta virkne.
Nokopējiet iepriekš ģenerēto failu un augšupielādējiet to sava domēna saknē kā robots.txt.
Robots.txt ģenerators labākai pārmeklēšanai un indeksēšanai
Robots.txt ir neliels teksta fails, kas vada meklēšanas robotus jūsu vietnē.
Izmantojiet failu robots.txt, lai bloķētu tādas jomas kā administratora lapas, izkārtojuma mapes, pārbaudes vietrāžus URL, filtrētu lapas un ceļu dublikātus.
Ko robots.txt nozīmē SEO
Robots.txt ir daļa no robotu izslēgšanas standarta.
jusudomens.com/robots.txt
Meklētājprogrammas bieži pārbauda šo failu agri, jo tas sniedz skaidrus norādījumus pārmeklēšanai.
Viens svarīgs punkts:
- Robots.txt kontrolē rāpuļprogrammu
- Tas negarantē indeksēšanu
Ja vēlaties apstiprināt, ka lapa var tikt parādīta meklēšanas rezultātos, izmantojiet indeksējamības pārbaudi.
Kāpēc fails Robots.txt palīdz izmantot rāpuļprogrammas budžetu?
Meklētājprogrammas nepārmeklē katru lapu katru dienu.
Ja jūsu vietne darbojas lēni vai atgriež kļūdas, rāpuļprogrammas var apmeklēt mazāk lapu vienā izpildē.
Lai iegūtu vislabākos rezultātus, izmantojiet failu robots.txt ar vietnes karti:
- Fails Robots.txt palīdz robotiem uzzināt, ko pārmeklēt vai izlaist
- Vietnes kartē ir uzskaitītas lapas, kuras vēlaties pārmeklēt un iekļaut rādītājā
Robots.txt noteikumi, kas jums jāzina
Fails robots.txt izmanto dažas vienkāršas direktīvas.
- Lietotāja aģents
- Iestata, uz kuru robotu attiecas noteikums
- Neatļaut
- Bloķē mapes vai ceļa pārmeklēšanu
- Atļaut
- Bloķētā mapē tiek atvērts noteikts ceļš
- Rāpuļprogrammas aizkave
- Pieprasa lēnāku pārmeklēšanu dažiem robotiem (ne visi roboti tam seko)
Neliela kļūda var bloķēt svarīgas lapas, tostarp galvenās kategorijas vai galvenās galvenās lapas.
Kāpēc WordPress vietnēm bieži ir nepieciešams fails Robots.txt
WordPress var izveidot daudzus URL, kas nepalīdz SEO, piemēram, iekšējās meklēšanas lapas, dažas arhīva lapas un uz parametriem balstītus URL.
Pat mazākās vietnēs tīrs robots.txt fails ir gudra iestatīšana.
Robots.txt un vietnes kartes atšķirība
Vietnes karte palīdz meklētājprogrammām atklāt lapas, kurās vēlaties izmantot rāpuļprogrammu.
- Vietnes karte uzlabo atklāšanu
- Fails Robots.txt kontrolē rāpuļprogrammas piekļuvi
Lielākā daļa vietņu gūst labumu, izmantojot abus.
Kā izveidot failu Robots.txt, izmantojot šo ģeneratoru
Robots.txt ir vienkāršs, taču tas nav piedodošs.
Iestatiet noklusējuma piekļuvi
Izvēlieties, vai pēc noklusējuma visi roboti var pārmeklēt jūsu vietni.
Pievienojiet vietnes kartes URL
Iekļaujiet vietnes karti, lai rāpuļprogrammas varētu ātrāk atrast jūsu svarīgās lapas.
Uzmanīgi pievienojiet neatļautus ceļus
Bloķējiet tikai to, ko jūs patiešām nevēlaties, lai tiktu pārmeklēts.
/admin/ vai /search/
Pārskatiet pirms publicēšanas
Vēlreiz pārbaudiet, vai neesat bloķējis savu sākumlapu, emuāru, kategoriju lapas vai galvenās pakalpojumu lapas.
Saistītie SEO rīki, kas labi darbojas ar Robots.txt
Robots.txt ir daļa no tehniskā SEO.
- Vietnes kartes pārbaudītājs: apstiprina, ka jūsu vietnes karte ir derīga un robotiem ir viegli lasāma.
- Google indeksa pārbaudītājs: pārbauda, vai lapu var indeksēt, un atzīmē tādus izplatītus bloķētājus kā noindex.
- Pārbaudīt HTTP statusa kodu: atrod 200, 301, 404 un servera kļūdas, kas var palēnināt pārmeklēšanu.
- Bezmaksas novirzīšanas pārbaudītājs: apstiprina, ka novirzīšanas ir tīras un nav iestrēgušas ķēdēs vai cilpās.
- Metatagu analīze: pārskati virsrakstus, aprakstus un robotu metatagus, lai noteiktu SEO kļūdas.