Sedang dalam pengembangan

Generator Robots.txt |

Iklan

Arahan umum

Konfigurasikan perilaku default untuk semua crawler sebelum menambahkan pengaturan pengganti.

Tetapkan aturan izinkan atau blokir global untuk User-agent: *.

Batasi kecepatan crawler jika server Anda membutuhkan ruang bernapas.

Direktif host opsional untuk domain yang dicerminkan.

Satu jalur per baris. Mendukung karakter pengganti (wildcard) dan garis miring di akhir baris.

Pastikan folder-folder tertentu tetap dapat diakses oleh mesin pencari meskipun jalur yang lebih luas diblokir.

Cantumkan satu URL sitemap per baris. Tambahkan indeks sitemap tambahan jika Anda memilikinya.

Perayap umum

Aktifkan atau nonaktifkan crawler yang ingin Anda blokir sepenuhnya. Biarkan crawler tersebut tetap menggunakan aturan default di atas.

Aturan khusus

Tambahkan agen pengguna dengan arahan izinkan atau blokir yang disesuaikan, penundaan perayapan, dan petunjuk peta situs.

Salin file yang dihasilkan di atas dan unggah ke direktori utama domain Anda sebagai robots.txt.

Hasilkan file robots.txt untuk mengontrol perilaku perayapan mesin telusur.
Table of Contents

Generator Robots.txt untuk Perayapan dan Pengindeksan yang Lebih Baik

Robots.txt adalah file teks kecil yang memandu bot penelusuran di situs Anda.

Gunakan robots.txt untuk memblokir area seperti halaman admin, folder penahapan, URL pengujian, halaman filter, dan jalur duplikat.

Apa Arti Robots.txt dalam SEO

Robots.txt adalah bagian dari standar pengecualian robots.

domainanda.com/robots.txt

Mesin pencari sering memeriksa file ini lebih awal karena memberikan arah perayapan yang jelas.

Satu poin penting:

  • Robots.txt mengontrol perayapan
  • Ini tidak menjamin pengindeksan

Jika Anda ingin memastikan bahwa suatu halaman dapat muncul di hasil pencarian, gunakan pemeriksaan kemampuan indeks.

Mengapa Robots.txt Membantu Anggaran Perayapan

Mesin pencari tidak merayapi setiap halaman setiap hari.

Jika situs Anda lambat atau menampilkan error, crawler mungkin mengunjungi lebih sedikit halaman setiap kali dijalankan.

Untuk hasil terbaik, gunakan robots.txt dengan peta situs:

  • Robots.txt memandu bot tentang apa yang harus dirayapi atau dilewati
  • Peta Situs mencantumkan laman yang ingin Anda jelajahi dan indeks

Aturan Robots.txt Yang Harus Anda Ketahui

File robots.txt menggunakan beberapa arahan sederhana.

  • Agen pengguna
  • Menetapkan bot mana yang menerapkan aturan
  • Larang
  • Memblokir perayapan untuk folder atau jalur
  • Izinkan
  • Membuka jalur tertentu di dalam folder yang diblokir
  • Penundaan perayapan
  • Meminta perayapan yang lebih lambat untuk beberapa bot (tidak semua bot mengikutinya)

Kesalahan kecil dapat memblokir halaman penting, termasuk kategori utama atau halaman arahan inti.

Mengapa Situs WordPress Sering Membutuhkan Robots.txt

WordPress dapat membuat banyak URL yang tidak membantu SEO, seperti halaman pencarian internal, beberapa halaman arsip, dan URL berbasis parameter.

Bahkan di situs yang lebih kecil, file robots.txt yang bersih adalah pengaturan yang cerdas.

Perbedaan Robots.txt dan Peta Situs

Peta situs membantu mesin pencari menemukan halaman yang ingin Anda jelajahi.

  • Peta Situs meningkatkan penemuan
  • Robots.txt mengontrol akses perayapan

Sebagian besar situs web mendapat manfaat dari penggunaan keduanya.

Cara Membuat Robots.txt Menggunakan Generator Ini

Robots.txt sederhana, tetapi tidak memaafkan.

Setel akses default

Pilih apakah semua bot dapat meng-crawl situs Anda secara default.

Tambahkan URL peta situs Anda

Sertakan peta situs Anda sehingga perayap dapat menemukan halaman penting Anda dengan lebih cepat.

Tambahkan jalur yang tidak diizinkan dengan hati-hati

Blokir hanya apa yang benar-benar tidak ingin Anda jelajahi.

/admin/ atau /pencarian/

Tinjau sebelum dipublikasikan

Periksa kembali apakah Anda tidak memblokir beranda, blog, halaman kategori, atau halaman layanan utama.

Alat SEO Terkait yang Bekerja Baik Dengan Robots.txt

Robots.txt adalah salah satu bagian dari SEO teknis.

Alat terkait

Simulator Google Serp

Penghitung Halaman Situs Web

Pemeriksa Tautan Rusak

Pemeriksa Kepadatan Kata Kunci

Generator Kata Kunci Ekor Panjang

Pemeriksa Kesulitan Kata Kunci

Alat Saran Kata Kunci

Pembuat Kata Kunci LSI

Pengelompokan Kata Kunci

Penganalisis Maksud Pencarian