Robots.txt-Generator |
Allgemeine Richtlinien
Konfigurieren Sie das Standardverhalten für alle Crawler, bevor Sie die Überschreibungen anwenden.
Legen Sie eine globale Zulassungs- oder Blockierungsregel für User-Agent fest: *.
Drosseln Sie die Leistung von Crawlern, wenn Ihr Server mehr Spielraum benötigt.
Optionale Host-Direktive für gespiegelte Domains.
Ein Pfad pro Zeile. Unterstützt Platzhalter und abschließende Schrägstriche.
Stellen Sie sicher, dass bestimmte Ordner auch dann noch durchsuchbar bleiben, wenn allgemeinere Pfade blockiert sind.
Geben Sie pro Zeile eine Sitemap-URL an. Fügen Sie gegebenenfalls weitere Sitemap-Indizes hinzu.
Häufige Kriechtiere
Aktivieren oder deaktivieren Sie die Crawler, die Sie vollständig blockieren möchten. Alternativ können Sie die oben genannte Standardregel für die übrigen Crawler beibehalten.
Benutzerdefinierte Regeln
Fügen Sie Benutzeragenten mit maßgeschneiderten Zulassungs- oder Blockierungsanweisungen, Crawling-Verzögerungen und Sitemap-Hinweisen hinzu.
Noch keine benutzerdefinierten Regeln vorhanden. Verwenden Sie die Schaltfläche oben, um eine zu erstellen.
Exakte oder Platzhalter-User-Agent-Zeichenfolge.
Kopieren Sie die oben generierte Datei und laden Sie sie als robots.txt in das Stammverzeichnis Ihrer Domain hoch.
Robots.txt-Generator für besseres Crawling und Indexieren
Robots.txt ist eine kleine Textdatei, die Such-Bots auf Ihrer Website anleitet.
Verwenden Sie robots.txt, um Bereiche wie Admin-Seiten, Staging-Ordner, Test-URLs, Filterseiten und doppelte Pfade zu blockieren.
Was Robots.txt in SEO bedeutet
Robots.txt ist Teil des Robots-Ausschlussstandards.
yourdomain.com/robots.txt
Suchmaschinen überprüfen diese Datei häufig frühzeitig, da sie dadurch klare Crawling-Anweisungen erhalten.
Ein wichtiger Punkt:
- Robots.txt steuert das Crawling
- Es garantiert keine Indizierung
Wenn Sie bestätigen möchten, dass eine Seite in den Suchergebnissen angezeigt werden kann, verwenden Sie eine Indexierbarkeitsprüfung.
Warum Robots.txt beim Crawl-Budget hilft
Suchmaschinen crawlen nicht jeden Tag jede Seite.
Wenn Ihre Website langsam ist oder Fehler zurückgibt, besuchen Crawler möglicherweise weniger Seiten pro Durchlauf.
Für beste Ergebnisse verwenden Sie robots.txt mit einer Sitemap:
- Robots.txt weist Bots an, was sie crawlen oder überspringen sollen
- Sitemap listet die Seiten auf, die gecrawlt und indiziert werden sollen.
Robots.txt-Regeln, die Sie kennen sollten
Eine robots.txt-Datei verwendet ein paar einfache Anweisungen.
- Benutzeragent
- Legt fest, für welchen Bot die Regel gilt
- Nicht zulassen
- Blockiert das Crawlen nach einem Ordner oder Pfad
- Zulassen
- Öffnet einen bestimmten Pfad in einem blockierten Ordner
- Crawling-Verzögerung
- Fordert langsameres Crawling für einige Bots an (nicht alle Bots befolgen es)
Ein kleiner Fehler kann wichtige Seiten blockieren, einschließlich Schlüsselkategorien oder Kernzielseiten.
Warum WordPress-Sites oft Robots.txt benötigen
WordPress kann viele URLs erstellen, die der Suchmaschinenoptimierung nicht helfen, wie zum Beispiel interne Suchseiten, einige Archivseiten und Parameter-basierte URLs.
Selbst auf kleineren Websites ist eine saubere robots.txt-Datei eine kluge Einrichtung.
Unterschiede zwischen Robots.txt und Sitemap
Eine Sitemap hilft Suchmaschinen dabei, die Seiten zu finden, die gecrawlt werden sollen.
- Sitemap verbessert die Auffindbarkeit
- Robots.txt steuert den Crawling-Zugriff
Die meisten Websites profitieren von der Verwendung beider.
So erstellen Sie Robots.txt mit diesem Generator
Robots.txt ist einfach, aber nicht nachsichtig.
Standardzugriff festlegen
Wählen Sie aus, ob alle Bots Ihre Website standardmäßig crawlen können.
Fügen Sie Ihre Sitemap-URL hinzu
Fügen Sie Ihre Sitemap hinzu, damit Crawler Ihre wichtigen Seiten schneller finden können.
Fügen Sie unzulässige Pfade sorgfältig hinzu
Blockieren Sie nur das, was wirklich nicht gecrawlt werden soll.
/admin/ oder /search/
Überprüfung vor der Veröffentlichung
Stellen Sie sicher, dass Sie Ihre Homepage, Ihr Blog, Ihre Kategorieseiten oder Hauptdienstseiten nicht blockiert haben.
Verwandte SEO-Tools, die gut mit Robots.txt funktionieren
Robots.txt ist ein Teil der technischen Suchmaschinenoptimierung.
- Sitemap-Prüfer: Bestätigt, dass Ihre Sitemap gültig und für Bots leicht lesbar ist.
- Google Index Checker: Überprüft, ob eine Seite indiziert werden kann, und kennzeichnet gängige Blocker wie „noindex“.
- HTTP-Statuscode prüfen: Findet 200, 301, 404 und Serverfehler, die das Crawling verlangsamen können.
- Kostenloser Redirect Checker: Bestätigt, dass Weiterleitungen sauber sind und nicht in Ketten oder Schleifen hängen bleiben.
- Meta-Tags-Analyse: Überprüft Titel, Beschreibungen und Robots-Meta-Tags auf SEO-Fehler.