Robots.txt Generator |
Generelle direktiver
Konfigurer standardadfærd for alle crawlere før lagdeling af tilsidesættelser.
Angiv en global tilladelses- eller blokeringsregel for brugeragent: *.
Sænk crawlere, hvis din server har brug for plads.
Valgfri værtsdirektiv for spejlede domæner.
Én sti pr. linje. Understøtter jokertegn og efterfølgende skråstreger.
Sørg for, at specifikke mapper forbliver gennemgåbare, selv når bredere stier er blokeret.
Angiv én sitemap-URL pr. linje. Tilføj yderligere sitemap-indekser, hvis du har dem.
Almindelige krybedyr
Slå de crawlere til/fra, du vil blokere helt. Lad dem have lov til at bruge standardreglen ovenfor.
Brugerdefinerede regler
Tilføj brugeragenter med skræddersyede tilladelses- eller blokeringsdirektiver, crawlforsinkelser og sitemap-tips.
Ingen brugerdefinerede regler endnu. Brug knappen ovenfor til at oprette en.
Præcis brugeragentstreng eller jokertegnstreng.
Kopier den genererede fil ovenfor, og upload den til roden af dit domæne som robots.txt.
Robots.txt Generator til bedre gennemgang og indeksering
Robots.txt er en lille tekstfil, der guider søgerobotter på dit websted.
Brug robots.txt til at blokere områder som administratorsider, iscenesættelsesmapper, test-URL'er, filtreringssider og duplikerede stier.
Hvad Robots.txt betyder i SEO
Robots.txt er en del af robotekskluderingsstandarden.
ditdomæne.com/robots.txt
Søgemaskiner tjekker ofte denne fil tidligt, fordi den giver dem klare kravlevejledninger.
Et vigtigt punkt:
- Robots.txt styrer crawling
- Det garanterer ikke indeksering
Hvis du vil bekræfte, at en side kan vises i søgeresultaterne, skal du bruge et indekseringstjek.
Hvorfor Robots.txt hjælper med crawl-budgettet
Søgemaskiner gennemgår ikke hver side hver dag.
Hvis dit websted er langsomt eller returnerer fejl, besøger crawlere muligvis færre sider pr. kørsel.
For de bedste resultater skal du bruge robots.txt med et sitemap:
- Robots.txt guider bots til, hvad de skal gennemgå eller springe over
- Sitemap viser de sider, du vil have gennemgået og indekseret
Robots.txt-regler, du bør kende
En robots.txt-fil bruger nogle få enkle direktiver.
- Bruger-agent
- Indstiller, hvilken bot reglen gælder for
- Disallow
- Blokerer gennemgang for en mappe eller sti
- Tillad
- Åbner en bestemt sti i en blokeret mappe
- Crawl-forsinkelse
- Anmoder om langsommere crawl for nogle bots (ikke alle bots følger det)
En lille fejl kan blokere vigtige sider, herunder nøglekategorier eller centrale landingssider.
Hvorfor WordPress-websteder ofte har brug for Robots.txt
WordPress kan oprette mange URL'er, der ikke hjælper SEO, såsom interne søgesider, nogle arkivsider og parameterbaserede URL'er.
Selv på mindre websteder er en ren robots.txt-fil en smart opsætning.
Robots.txt og sitemap forskel
Et sitemap hjælper søgemaskiner med at finde de sider, du vil have gennemgået.
- Sitemap forbedrer opdagelsen
- Robots.txt styrer gennemgangsadgang
De fleste hjemmesider har gavn af at bruge begge dele.
Sådan opretter du Robots.txt ved hjælp af denne generator
Robots.txt er simpelt, men det er ikke tilgivende.
Indstil standardadgang
Vælg, om alle bots kan crawle dit websted som standard.
Tilføj dit sitemap-URL
Inkluder dit sitemap, så crawlere kan finde dine vigtige sider hurtigere.
Tilføj forsigtigt ikke-tilladte stier
Bloker kun det, du virkelig ikke vil have gennemgået.
/admin/ eller /search/
Gennemgå før udgivelse
Dobbelttjek, at du ikke blokerede din startside, blog, kategorisider eller hovedtjenestesider.
Relaterede SEO-værktøjer, der fungerer godt med Robots.txt
Robots.txt er en del af teknisk SEO.
- Sitemap Checker: Bekræfter, at dit sitemap er gyldigt og nemt for bots at læse.
- Google Index Checker: Bekræfter, om en side kan indekseres, og markerer almindelige blokeringer som noindex.
- Tjek HTTP-statuskode: Finder 200, 301, 404 og serverfejl, der kan gøre gennemgangen langsommere.
- Gratis omdirigeringskontrol: Bekræfter, at omdirigeringer er rene og ikke sidder fast i kæder eller løkker.
- Analyse af metatags: Gennemgå titler, beskrivelser og robot-metatags for SEO-fejl.