Generator robots.txt |
Opće smjernice
Konfigurirajte zadano ponašanje za sve pretraživače prije nadjačavanja slojeva.
Postavite globalno pravilo dopuštanja ili blokiranja za korisničkog agenta: *.
Smanjite broj indeksera ako vašem poslužitelju treba prostora za disanje.
Neobavezna direktiva hosta za zrcaljene domene.
Jedan put po retku. Podržava zamjenske znakove i kose crte na kraju.
Osigurajte da određene mape ostanu moguće za indeksiranje čak i kada su šire putanje blokirane.
Navedite jedan URL sitemapa po retku. Dodajte dodatne indekse sitemapa ako ih imate.
Uobičajeni indeksi
Uključite/isključite pretraživače koje želite u potpunosti blokirati. Ostavite im dopuštenje da se oslanjaju na gore navedeno zadano pravilo.
Prilagođena pravila
Dodajte korisničke agente s prilagođenim direktivama za dopuštanje ili blokiranje, kašnjenjima indeksiranja i savjetima za mapu web-mjesta.
Još nema prilagođenih pravila. Pomoću gornjeg gumba možete ga stvoriti.
Točan ili zamjenski niz korisničkog agenta.
Kopirajte generiranu datoteku iznad i prenesite je u korijensku mapu svoje domene kao robots.txt.
Generator Robots.txt za bolje indeksiranje i indeksiranje
Robots.txt je mala tekstualna datoteka koja vodi robote za pretraživanje na vašoj web stranici.
Upotrijebite robots.txt za blokiranje područja kao što su administratorske stranice, pripremne mape, testni URL-ovi, stranice za filtriranje i duplicirane staze.
Što Robots.txt znači u SEO-u
Robots.txt dio je standarda za isključivanje robota.
vašadomena.com/robots.txt
Tražilice često rano provjeravaju ovu datoteku jer im daje jasne upute za indeksiranje.
Jedna važna točka:
- Robots.txt kontrolira pretraživanje
- Ne jamči indeksiranje
Ako želite potvrditi da se stranica može pojaviti u rezultatima pretraživanja, upotrijebite provjeru mogućnosti indeksiranja.
Zašto Robots.txt pomaže kod proračuna indeksiranja
Tražilice ne indeksiraju svaku stranicu svaki dan.
Ako je vaša stranica spora ili vraća pogreške, alati za indeksiranje mogu posjetiti manje stranica po pokretanju.
Za najbolje rezultate koristite robots.txt s kartom web stranice:
- Robots.txt vodi botove o tome što indeksirati ili preskočiti
- Sitemap navodi stranice koje želite indeksirati i indeksirati
Pravila za Robots.txt koja biste trebali znati
Datoteka robots.txt koristi nekoliko jednostavnih uputa.
- Korisnički agent
- Postavlja na koji se bot pravilo primjenjuje
- Zabrani
- Blokira indeksiranje mape ili putanje
- Dopusti
- Otvara određeni put unutar blokirane mape
- Odgoda indeksiranja
- Zahtijeva sporije indeksiranje za neke botove (ne slijede ga svi botovi)
Mala pogreška može blokirati važne stranice, uključujući ključne kategorije ili ključne odredišne stranice.
Zašto WordPress stranice često trebaju Robots.txt
WordPress može stvoriti mnogo URL-ova koji ne pomažu SEO-u, kao što su interne stranice za pretraživanje, neke arhivske stranice i URL-ovi temeljeni na parametrima.
Čak i na manjim stranicama, čista datoteka robots.txt pametno je postavljanje.
Robots.txt i Sitemap razlika
Sitemap pomaže tražilicama da otkriju stranice koje želite indeksirati.
- Sitemap poboljšava otkrivanje
- Robots.txt kontrolira pristup indeksiranjem
Većina web stranica koristi oboje.
Kako stvoriti Robots.txt pomoću ovog generatora
Robots.txt je jednostavan, ali ne oprašta.
Postavi zadani pristup
Odaberite mogu li svi botovi indeksirati vašu stranicu prema zadanim postavkama.
Dodajte URL karte web stranice
Uključite svoj sitemap kako bi alati za indeksiranje mogli brže pronaći vaše važne stranice.
Pažljivo dodajte nedopuštene staze
Blokirajte samo ono što doista ne želite indeksirati.
/admin/ ili /search/
Pregledajte prije objave
Još jednom provjerite da niste blokirali svoju početnu stranicu, blog, stranice kategorija ili stranice glavnih usluga.
Povezani SEO alati koji dobro funkcioniraju s Robots.txt
Robots.txt jedan je dio tehničkog SEO.
- Sitemap Checker: Potvrđuje da je vaš sitemap valjan i lak za čitanje robotima.
- Google Index Checker: Provjerava može li se stranica indeksirati i označava uobičajene blokatore kao što je noindex.
- Provjeri HTTP statusni kod: Pronalazi 200, 301, 404 i pogreške poslužitelja koje mogu usporiti indeksiranje.
- Besplatni alat za provjeru preusmjeravanja: potvrđuje da su preusmjeravanja čista i da nisu zapela u lancima ili petljama.
- Analiza meta oznaka: Pregledava naslove, opise i meta oznake robota radi SEO pogrešaka.