Robots.txt-generator |
Algemene richtlijnen
Configureer het standaardgedrag voor alle crawlers voordat je de overrides toepast.
Stel een algemene regel in voor het toestaan of blokkeren van User-agent: *.
Beperk het aantal crawlers als je server wat ademruimte nodig heeft.
Optionele hostrichtlijn voor gespiegelde domeinen.
Eén pad per regel. Ondersteunt jokertekens en afsluitende schuine strepen.
Zorg ervoor dat specifieke mappen doorzoekbaar blijven, zelfs wanneer bredere paden geblokkeerd zijn.
Geef per regel één sitemap-URL op. Voeg extra sitemap-indexen toe als u die heeft.
Veelvoorkomende kruipers
Schakel de crawlers die u volledig wilt blokkeren in of uit. Laat de crawlers die u wilt blokkeren de standaardregel hierboven behouden.
Aangepaste regels
Voeg user-agents toe met aangepaste toestemmings- of blokkeringsinstructies, crawlvertragingen en sitemap-hints.
Er zijn nog geen aangepaste regels. Gebruik de knop hierboven om er een aan te maken.
Exacte of wildcard-gebruikersagentstring.
Kopieer het bovenstaande gegenereerde bestand en upload het naar de rootmap van uw domein als robots.txt.
Robots.txt-generator voor beter crawlen en indexeren
Robots.txt is een klein tekstbestand dat zoekbots op uw site begeleidt.
Gebruik robots.txt om gebieden zoals beheerderspagina's, stagingmappen, test-URL's, filterpagina's en dubbele paden te blokkeren.
Wat Robots.txt betekent in SEO
Robots.txt maakt deel uit van de standaard voor het uitsluiten van robots.
uwdomein.com/robots.txt
Zoekmachines controleren dit bestand vaak vroegtijdig omdat het hen duidelijke crawl-instructies geeft.
Eén belangrijk punt:
- Robots.txt regelt het crawlen
- Het garandeert geen indexering
Als u wilt bevestigen dat een pagina in de zoekresultaten kan verschijnen, gebruikt u een indexeerbaarheidscontrole.
Waarom Robots.txt helpt bij het crawlbudget
Zoekmachines crawlen niet elke dag elke pagina.
Als uw site traag is of fouten retourneert, bezoeken crawlers mogelijk minder pagina's per keer.
Voor de beste resultaten gebruik je robots.txt met een sitemap:
- Robots.txt begeleidt bots bij wat ze moeten crawlen of overslaan
- Sitemap vermeldt de pagina's die u wilt laten crawlen en indexeren
Robots.txt-regels die u moet kennen
Een robots.txt-bestand gebruikt een paar eenvoudige richtlijnen.
- Gebruiker-agent
- Stelt in op welke bot de regel van toepassing is
- Niet toestaan
- Blokken die zoeken naar een map of pad
- Toestaan
- Opent een specifiek pad binnen een geblokkeerde map
- Crawlvertraging
- Verzoekt langzamer crawlen voor sommige bots (niet alle bots volgen dit)
Een kleine fout kan belangrijke pagina's blokkeren, inclusief belangrijke categorieën of kernbestemmingspagina's.
Waarom WordPress-sites vaak Robots.txt nodig hebben
WordPress kan veel URL's maken die SEO niet helpen, zoals interne zoekpagina's, sommige archiefpagina's en op parameters gebaseerde URL's.
Zelfs op kleinere sites is een schoon robots.txt-bestand een slimme opstelling.
Robots.txt en sitemapverschil
Een sitemap helpt zoekmachines de pagina's te ontdekken die u wilt laten crawlen.
- Sitemap verbetert de vindbaarheid
- Robots.txt beheert de crawltoegang
De meeste websites profiteren van het gebruik van beide.
Hoe Robots.txt te maken met behulp van deze generator
Robots.txt is eenvoudig, maar niet vergevingsgezind.
Stel standaardtoegang in
Kies of alle bots standaard uw site kunnen crawlen.
Voeg uw sitemap-URL toe
Voeg uw sitemap toe, zodat crawlers uw belangrijke pagina's sneller kunnen vinden.
Voeg niet-toegestane paden zorgvuldig toe
Blokkeer alleen datgene waarvan u echt niet wilt dat het wordt gecrawld.
/admin/ of /search/
Controleren voordat u publiceert
Controleer nogmaals of u uw startpagina, blog, categoriepagina's of hoofdservicepagina's niet hebt geblokkeerd.
Gerelateerde SEO-tools die goed werken met Robots.txt
Robots.txt is een onderdeel van technische SEO.
- Sitemapcontrole: bevestigt dat uw sitemap geldig is en gemakkelijk te lezen is voor bots.
- Google Index Checker: verifieert of een pagina kan worden geïndexeerd en signaleert veelvoorkomende blokkers zoals noindex.
- HTTP-statuscode controleren: vindt 200, 301, 404 en serverfouten die het crawlen kunnen vertragen.
- Gratis omleidingscontrole: bevestigt dat omleidingen schoon zijn en niet vastzitten in ketens of lussen.
- Metatagsanalyse: controleer titels, beschrijvingen en robots-metatags op SEO-fouten.