Dalam pembangunan

Penjana Robots.txt |

Iklan

Arahan umum

Konfigurasikan tingkah laku lalai untuk semua perayap sebelum penggantian lapisan.

Tetapkan peraturan benarkan atau sekat global untuk Ejen-pengguna: *.

Throttle crawler jika pelayan anda memerlukan ruang untuk bernafas.

Arahan hos pilihan untuk domain yang dicerminkan.

Satu laluan setiap baris. Menyokong kad bebas dan garis miring mengekori.

Pastikan folder tertentu kekal boleh dirayapi walaupun laluan yang lebih luas disekat.

Berikan satu URL peta laman bagi setiap baris. Tambahkan indeks peta laman tambahan jika anda mempunyainya.

Perayap biasa

Togol perayap yang anda ingin sekat sepenuhnya. Biarkan ia dibenarkan bergantung pada peraturan lalai di atas.

Peraturan tersuai

Tambahkan ejen pengguna dengan arahan kebenaran atau blok yang disesuaikan, kelewatan perayapan dan petunjuk peta laman.

Salin fail yang dijana di atas dan muat naik ke root domain anda sebagai robots.txt.

Hasilkan fail robots.txt untuk mengawal tingkah laku merangkak enjin carian.
Table of Contents

Penjana Robots.txt untuk Merangkak dan Pengindeksan yang Lebih Baik

Robots.txt ialah fail teks kecil yang membimbing bot carian di tapak anda.

Gunakan robots.txt untuk menyekat kawasan seperti halaman pentadbir, folder pementasan, URL ujian, halaman penapis dan laluan pendua.

Apa Maksud Robots.txt dalam SEO

Robots.txt ialah sebahagian daripada standard pengecualian robot.

domainanda.com/robots.txt

Enjin carian sering menyemak fail ini lebih awal kerana ia memberikan mereka arah merangkak yang jelas.

Satu perkara penting:

  • Robots.txt mengawal merangkak
  • Ia tidak menjamin pengindeksan

Jika anda ingin mengesahkan bahawa halaman boleh muncul dalam hasil carian, gunakan semakan kebolehindeksan.

Mengapa Robots.txt Membantu Dengan Belanjawan Merangkak

Enjin carian tidak merangkak setiap halaman setiap hari.

Jika tapak anda lambat atau mengembalikan ralat, perangkak boleh melawati lebih sedikit halaman setiap larian.

Untuk hasil terbaik, gunakan robots.txt dengan peta laman:

  • Robots.txt membimbing bot tentang perkara yang hendak dirangkak atau dilangkau
  • Peta laman menyenaraikan halaman yang anda mahu rangkak dan diindeks

Peraturan Robots.txt yang Perlu Anda Ketahui

Fail robots.txt menggunakan beberapa arahan mudah.

  • Ejen pengguna
  • Menetapkan bot yang mana peraturan itu digunakan
  • Tidak benarkan
  • Menyekat merangkak untuk folder atau laluan
  • Benarkan
  • Membuka laluan tertentu dalam folder yang disekat
  • Tangguhan-rangkak
  • Meminta merangkak yang lebih perlahan untuk sesetengah bot (tidak semua bot mengikutinya)

Kesilapan kecil boleh menyekat halaman penting, termasuk kategori utama atau halaman pendaratan teras.

Mengapa Laman WordPress Selalunya Memerlukan Robots.txt

WordPress boleh mencipta banyak URL yang tidak membantu SEO, seperti halaman carian dalaman, beberapa halaman arkib dan URL berasaskan parameter.

Walaupun di tapak yang lebih kecil, fail robots.txt yang bersih ialah persediaan pintar.

Robots.txt dan Perbezaan Peta Laman

Peta laman membantu enjin carian menemui halaman yang anda mahu rangkak.

  • Peta laman memperbaik penemuan
  • Robots.txt mengawal akses merangkak

Kebanyakan tapak web mendapat manfaat daripada menggunakan kedua-duanya.

Cara Membuat Robots.txt Menggunakan Penjana Ini

Robots.txt adalah mudah, tetapi ia tidak memaafkan.

Tetapkan akses lalai

Pilih sama ada semua bot boleh merangkak tapak anda secara lalai.

Tambah URL peta laman anda

Sertakan peta laman anda supaya perangkak dapat mencari halaman penting anda dengan lebih pantas.

Tambahkan laluan yang tidak dibenarkan dengan berhati-hati

Sekat hanya apa yang anda benar-benar tidak mahu merangkak.

/admin/ atau /search/

Semak sebelum diterbitkan

Semak semula bahawa anda tidak menyekat halaman utama, blog, halaman kategori atau halaman perkhidmatan utama anda.

Alat SEO Berkaitan Yang Berfungsi Baik Dengan Robots.txt

Robots.txt ialah salah satu bahagian SEO teknikal.

Alat berkaitan

Penyemak SERP Google

UTM/Pembina URL Kempen

Buka Pemeriksa Graf

Penganalisis Tag Meta

FaqSchemaGenerator

Semak Pengindeksan Google

Simulator Google Serp

Kaunter Halaman Laman Web

Penyemak Pautan Terputus

Pemeriksa Ketumpatan Kata Kunci