In ontwikkeling

Robots.txt-generator |

Advertentie

Algemene richtlijnen

Configureer het standaardgedrag voor alle crawlers voordat je de overrides toepast.

Stel een algemene regel in voor het toestaan ​​of blokkeren van User-agent: *.

Beperk het aantal crawlers als je server wat ademruimte nodig heeft.

Optionele hostrichtlijn voor gespiegelde domeinen.

Eén pad per regel. Ondersteunt jokertekens en afsluitende schuine strepen.

Zorg ervoor dat specifieke mappen doorzoekbaar blijven, zelfs wanneer bredere paden geblokkeerd zijn.

Geef per regel één sitemap-URL op. Voeg extra sitemap-indexen toe als u die heeft.

Veelvoorkomende kruipers

Schakel de crawlers die u volledig wilt blokkeren in of uit. Laat de crawlers die u wilt blokkeren de standaardregel hierboven behouden.

Aangepaste regels

Voeg user-agents toe met aangepaste toestemmings- of blokkeringsinstructies, crawlvertragingen en sitemap-hints.

Kopieer het bovenstaande gegenereerde bestand en upload het naar de rootmap van uw domein als robots.txt.

Genereer robots.txt-bestanden om het crawlgedrag van zoekmachines te controleren.
Advertentie

Inhoudsopgave

Robots.txt Generator voor Beter Crawlen en Indexeren

Robots.txt is een klein tekstbestand dat zoekbots op je site begeleidt. Het vertelt crawlers welke gebieden ze kunnen bereiken en welke paden ze moeten vermijden. Dit houdt crawling gericht op pagina's die ertoe doen en vermindert verspilde bezoeken aan laagwaardige URL's.

Gebruik robots.txt om gebieden zoals beheerderspagina's, staging-mappen, test-URL's, filterpagina's en dubbele paden te blokkeren. Wanneer je regels duidelijk zijn, besteden zoekmachines meer tijd aan je belangrijke pagina's. Dat kan helpen om nieuwe content sneller te ontdekken en crawling schoon en voorspelbaar te houden.

Wat Robots.txt betekent in SEO

Robots.txt maakt deel uit van de robots-uitsluitingsstandaard. Je plaatst het als:

yourdomain.com/robots.txt

Zoekmachines controleren dit bestand vaak vroeg omdat het hen duidelijke crawl-instructies geeft. Als je site klein is, kan het alsnog geïndexeerd worden zonder een robots.txt bestand. Maar op grotere sites kan ontbrekende begeleiding leiden tot verspilde crawling en tragere ontdekking van belangrijke pagina's.

Een belangrijk punt:

  • Robots.txt controle kruipend
  • Het garandeert geen indexering

Als je wilt bevestigen dat een pagina in zoekresultaten kan verschijnen, gebruik dan een indexeerbaarheidscontrole. Dat helpt je signalen zoals noindex, geblokkeerde bronnen of andere problemen te herkennen die robots.txt niet dekt.

Waarom Robots.txt helpt met het crawlbudget

Zoekmachines crawlen niet elke pagina elke dag. Ze crawlen op basis van limieten en signalen zoals sitesnelheid, servergezondheid en hoe vaak je content verandert.

Als je site traag is of fouten geeft, kunnen crawlers per run minder pagina's bezoeken. Dat kan de indexering van nieuwe berichten en bijgewerkte pagina's vertragen. Robots.txt helpt door verspilde crawls te verminderen, zodat bots meer tijd besteden aan de pagina's waarop je wilt dat ze zich richten.

Voor het beste resultaat gebruik robots.txt met een sitemap:

  • Robots.txt begeleidt bots over wat ze moeten crawlen of overslaan
  • Sitemap geeft de pagina's weer die je wilt crawlen en indexeren

Robots.txt regels die je moet kennen

Een robots.txt bestand gebruikt een paar eenvoudige instructies. Ze zijn makkelijk te lezen, maar je moet ze zorgvuldig schrijven.

  • User-agent
  • Bepaalt op welke bot de regel van toepassing is
  • Afkeuring
  • Blokken crawlen naar een map of pad
  • Sta toe
  • Opent een specifiek pad binnen een geblokkeerde map
  • Kruipvertraging
  • Verzoeken om langzamere crawling voor sommige bots (niet alle bots volgen het)

Een kleine fout kan belangrijke pagina's blokkeren, waaronder belangrijke categorieën of kernlandingspagina's. Daarom is het gebruik van een generator veiliger dan alles handmatig schrijven.

Waarom WordPress-sites vaak Robots.txt

WordPress kan veel URL's maken die SEO niet helpen, zoals interne zoekpagina's, sommige archiefpagina's en parametergebaseerde URL's. Het blokkeren van laagwaardige gebieden helpt crawlers om meer tijd door te brengen op je hoofdpagina's, blogposts en product- of servicepagina's.

Zelfs op kleinere sites is een schoon robots.txt-bestand een slimme opzet. Het houdt je crawlregels georganiseerd naarmate de site groeit.

Robots.txt en sitemap-verschil

Een sitemap helpt zoekmachines de pagina's te ontdekken die je wilt crawlen. Robots.txt bepaalt waar bots naartoe kunnen.

  • Sitemap verbetert de ontdekking
  • Robots.txt controleert kruiptoegang

De meeste websites profiteren van het gebruik van beide.

Hoe maak je Robots.txt met deze generator

Robots.txt is eenvoudig, maar het is niet vergevingsgezind. Een verkeerde regel kan belangrijke pagina's blokkeren. Deze generator helpt je het bestand veilig op te bouwen.

Stel standaardtoegang in

Kies of alle bots standaard je site kunnen crawlen.

Voeg je sitemap-URL toe

Voeg je sitemap toe zodat crawlers je belangrijke pagina's sneller kunnen vinden.

Voeg verboden paden zorgvuldig toe

Blokkeer alleen wat je echt niet wilt laten kruipen. Begin altijd met een voorwaartse slash, zoals:

/admin/ of /zoek/

Recensie vóór publicatie

Controleer dubbel of je je homepage, blog, categoriepagina's of hoofdservicepagina's niet hebt geblokkeerd.

Gerelateerde SEO-tools die goed werken met Robots.txt

Robots.txt is een onderdeel van technische SEO. Deze tools ondersteunen hetzelfde doel en helpen je te bevestigen dat alles correct werkt:

API-documentatie binnenkort beschikbaar

Documentation for this tool is being prepared. Please check back later or visit our full API documentation.

Gerelateerde hulpmiddelen