common.you_need_to_be_loggedin_to_add_tool_in_favorites
Robots.txt-generaattori |
Yleiset ohjeet
Määritä kaikkien indeksointirobottien oletustoiminta ennen kerrostuksen ohituksia.
Aseta yleinen sallimis- tai estosääntö käyttäjäagentille: *.
Rajoita indeksointirobottien käyttöä, jos palvelimesi tarvitsee hengähdystauon.
Valinnainen isäntädirektiivi peilatuille verkkotunnuksille.
Yksi polku riviä kohden. Tukee jokerimerkkejä ja lopussa olevia kauttaviivoja.
Varmista, että tietyt kansiot pysyvät indeksoitavissa, vaikka laajemmat polut olisivat estetty.
Anna yksi sivustokartan URL-osoite riviä kohden. Lisää muita sivustokarttaindeksejä, jos sinulla on niitä.
Yleiset ryömijät
Vaihda kokonaan estettävät indeksointirobotit päälle/pois. Anna niiden käyttää yllä olevaa oletussääntöä.
Mukautetut säännöt
Lisää käyttäjäagentteja, joissa on räätälöityjä sallimis- tai estokäskyjä, indeksointiviiveitä ja sivustokarttavinjekttejä.
Ei vielä mukautettuja sääntöjä. Luo sellainen yllä olevalla painikkeella.
Tarkka tai jokerimerkki käyttäjäagenttimerkkijono.
Kopioi yllä oleva luotu tiedosto ja lataa se verkkotunnuksesi juureen nimellä robots.txt.
Robots.txt-luontityökalu parempaan indeksointiin
Robots.txt on pieni tekstitiedosto, joka ohjaa hakubotteja sivustossasi.
Käytä robots.txt-tiedostoa estääksesi alueita, kuten järjestelmänvalvojasivuja, esityskansioita, testi-URL-osoitteita, suodatinsivuja ja polkujen kaksoiskappaleita.
Mitä Robots.txt tarkoittaa hakukoneoptimoinnissa
Robots.txt on osa robottien poissulkemisstandardia.
omaverkkotunnus.com/robots.txt
Hakukoneet tarkistavat tämän tiedoston usein aikaisin, koska se antaa heille selkeät indeksointiohjeet.
Yksi tärkeä kohta:
- Robots.txt hallitsee indeksointia
- Se ei takaa indeksointia
Jos haluat varmistaa, että sivu voi näkyä hakutuloksissa, käytä indeksoitavuuden tarkistusta.
Miksi Robots.txt auttaa indeksointibudjetin kanssa?
Hakukoneet eivät indeksoi jokaista sivua joka päivä.
Jos sivustosi on hidas tai palauttaa virheitä, indeksointirobotit voivat käydä harvemmilla sivuilla ajon aikana.
Saat parhaat tulokset käyttämällä robots.txt-tiedostoa sivustokartan kanssa:
- Robots.txt opastaa robotteja indeksoitavissa tai ohitettavissa
- Sivustokartassa on luettelo sivuista, jotka haluat indeksoida
Robots.txt-säännöt, jotka sinun tulee tietää
Robots.txt-tiedosto käyttää muutamia yksinkertaisia ohjeita.
- User-agent
- Asettaa mihin bottiin sääntö koskee
- Estä
- Estää kansion tai polun indeksoinnin
- Salli
- Avaa tietyn polun estetyn kansion sisällä
- Indeksoinnin viive
- Pyytää hitaampaa indeksointia joillekin boteille (kaikki robotit eivät seuraa sitä)
Pieni virhe voi estää tärkeitä sivuja, mukaan lukien avainluokat tai keskeiset aloitussivut.
Miksi WordPress-sivustot tarvitsevat usein Robots.txt-tiedoston
WordPress voi luoda monia URL-osoitteita, jotka eivät auta SEO:ta, kuten sisäiset hakusivut, jotkin arkistosivut ja parametripohjaiset URL-osoitteet.
Jopa pienemmillä sivustoilla puhdas robots.txt-tiedosto on älykäs asennus.
Robots.txt:n ja sivustokartan ero
Sivustokartta auttaa hakukoneita löytämään sivut, jotka haluat indeksoida.
- Sivustokartta parantaa löytämistä
- Robots.txt hallitsee indeksointia
Useimmat verkkosivustot hyötyvät molempien käytöstä.
Robots.txt-tiedoston luominen tämän generaattorin avulla
Robots.txt on yksinkertainen, mutta se ei ole anteeksiantava.
Aseta oletuskäyttöoikeus
Valitse, voivatko kaikki robotit indeksoida sivustosi oletuksena.
Lisää sivustokarttasi URL-osoite
Sisällytä sivustokarttasi, jotta indeksointirobotit löytävät tärkeät sivusi nopeammin.
Lisää kiellettyjä polkuja huolellisesti
Estä vain se, mitä et todellakaan halua indeksoivan.
/admin/ tai /search/
Tarkista ennen julkaisua
Tarkista, ettet estänyt kotisivuasi, blogiasi, luokkasivujasi tai pääpalvelusivujasi.
Aiheeseen liittyvät SEO-työkalut, jotka toimivat hyvin Robots.txt-tiedoston kanssa
Robots.txt on osa teknistä hakukoneoptimointia.
- Sivustokartan tarkistus: Vahvistaa, että sivustokarttasi on kelvollinen ja robottien helppo lukea.
- Google-hakemiston tarkistus: Tarkistaa, voidaanko sivu indeksoida, ja merkitsee yleisimmät estäjät, kuten noindex.
- Tarkista HTTP-tilakoodi: Etsii 200, 301, 404 ja palvelinvirheet, jotka voivat hidastaa indeksointia.
- Ilmainen uudelleenohjaustarkistus: Vahvistaa, että uudelleenohjaukset ovat puhtaita eivätkä ole jumissa ketjuissa tai silmukoissa.
- Sisällönkuvauskenttien analyysi: Tarkistaa otsikot, kuvaukset ja robots-sisällönkuvauskentät hakukoneoptimoinnin virheiden varalta.