Robots.txt Generator |
Generelle direktiver
Konfigurer standardvirkemåte for alle robotsøkeprogrammer før lagoverstyringer.
Angi en global tillatelses- eller blokkeringsregel for brukeragent: *.
Reduser hastigheten på crawlere hvis serveren din trenger pusterom.
Valgfritt vertsdirektiv for speilede domener.
Én sti per linje. Støtter jokertegn og etterfølgende skråstreker.
Sørg for at bestemte mapper fortsatt kan gjennomsøkes selv når bredere stier er blokkert.
Oppgi én nettadresse for nettstedskartet per linje. Legg til flere nettstedskartindekser hvis du har noen.
Vanlige kryper
Aktiver/deaktiver robotsøkeprogrammene du vil blokkere helt. La dem være avhengige av standardregelen ovenfor.
Tilpassede regler
Legg til brukeragenter med skreddersydde tillatelses- eller blokkeringsdirektiver, gjennomsøkingsforsinkelser og tips til nettstedskart.
Ingen egendefinerte regler ennå. Bruk knappen ovenfor for å opprette en.
Nøyaktig brukeragentstreng eller jokertegnstreng.
Kopier den genererte filen ovenfor og last den opp til roten av domenet ditt som robots.txt.
Robots.txt Generator for bedre gjennomsøking og indeksering
Robots.txt er en liten tekstfil som veileder søkeroboter på nettstedet ditt.
Bruk robots.txt til å blokkere områder som administratorsider, oppsamlingsmapper, test-URL-er, filtreringssider og dupliserte baner.
Hva Robots.txt betyr i SEO
Robots.txt er en del av eksklusjonsstandarden for roboter.
dittdomene.com/robots.txt
Søkemotorer sjekker ofte denne filen tidlig fordi den gir dem klare veibeskrivelser.
Et viktig poeng:
- Robots.txt kontrollerer gjennomgang
- Det garanterer ikke indeksering
Hvis du vil bekrefte at en side kan vises i søkeresultater, bruk en indekserbarhetssjekk.
Hvorfor Robots.txt hjelper med gjennomgangsbudsjett
Søkemotorer gjennomsøker ikke hver side hver dag.
Hvis nettstedet ditt er tregt eller returnerer feil, kan søkerobotene besøke færre sider per kjøring.
For best resultat, bruk robots.txt med et nettstedskart:
- Robots.txt veileder roboter om hva de skal gjennomsøke eller hoppe over
- Nettkart viser sidene du vil ha gjennomsøkt og indeksert
Robots.txt-regler du bør kjenne til
En robots.txt-fil bruker noen få enkle direktiver.
- Brukeragent
- Angir hvilken bot regelen gjelder for
- Ikke tillat
- Blokkerer gjennomsøking for en mappe eller bane
- Tillat
- Åpner en bestemt bane i en blokkert mappe
- Gjennomsøkingsforsinkelse
- Ber om langsommere gjennomgang for noen roboter (ikke alle roboter følger den)
En liten feil kan blokkere viktige sider, inkludert nøkkelkategorier eller kjernelandingssider.
Hvorfor WordPress-nettsteder ofte trenger Robots.txt
WordPress kan lage mange URL-er som ikke hjelper SEO, for eksempel interne søkesider, enkelte arkivsider og parameterbaserte URL-er.
Selv på mindre nettsteder er en ren robots.txt-fil et smart oppsett.
Robots.txt og Sitemap-forskjell
Et nettstedskart hjelper søkemotorer med å finne sidene du vil gjennomsøke.
- Nettkart forbedrer oppdagelsen
- Robots.txt kontrollerer gjennomsøkingstilgang
De fleste nettsteder drar nytte av å bruke begge.
Hvordan lage Robots.txt ved hjelp av denne generatoren
Robots.txt er enkelt, men det er ikke tilgivende.
Angi standardtilgang
Velg om alle roboter kan gjennomsøke nettstedet ditt som standard.
Legg til nettkartet ditt
Inkluder nettstedskartet ditt slik at robotsøkeprogrammer kan finne de viktige sidene dine raskere.
Legg forsiktig til ikke-tillatte baner
Blokker bare det du virkelig ikke vil ha gjennomgått.
/admin/ eller /search/
Gjennomgå før publisering
Dobbeltsjekk at du ikke blokkerte hjemmesiden, bloggen, kategorisidene eller hovedtjenestesidene dine.
Relaterte SEO-verktøy som fungerer bra med Robots.txt
Robots.txt er en del av teknisk SEO.
- Sitemap Checker: Bekrefter at nettstedskartet er gyldig og enkelt for roboter å lese.
- Google Index Checker: Verifiserer om en side kan indekseres og flagger vanlige blokkere som noindex.
- Sjekk HTTP-statuskode: Finner 200, 301, 404 og serverfeil som kan senke gjennomgangen.
- Gratis omdirigeringskontroll: Bekrefter at omdirigeringer er rene og ikke sitter fast i kjeder eller løkker.
- Analyse av metatagger: Gjennomgå titler, beskrivelser og robot-metakoder for SEO-feil.