Dalam pembangunan

Penjana Robots.txt |

Iklan

Arahan umum

Konfigurasikan tingkah laku lalai untuk semua perayap sebelum penggantian lapisan.

Tetapkan peraturan benarkan atau sekat global untuk Ejen-pengguna: *.

Throttle crawler jika pelayan anda memerlukan ruang untuk bernafas.

Arahan hos pilihan untuk domain yang dicerminkan.

Satu laluan setiap baris. Menyokong kad bebas dan garis miring mengekori.

Pastikan folder tertentu kekal boleh dirayapi walaupun laluan yang lebih luas disekat.

Berikan satu URL peta laman bagi setiap baris. Tambahkan indeks peta laman tambahan jika anda mempunyainya.

Perayap biasa

Togol perayap yang anda ingin sekat sepenuhnya. Biarkan ia dibenarkan bergantung pada peraturan lalai di atas.

Peraturan tersuai

Tambahkan ejen pengguna dengan arahan kebenaran atau blok yang disesuaikan, kelewatan perayapan dan petunjuk peta laman.

Salin fail yang dijana di atas dan muat naik ke root domain anda sebagai robots.txt.

Hasilkan fail robots.txt untuk mengawal tingkah laku merangkak enjin carian.
Table of Contents

Robots.txt Penjana untuk Merangkak dan Mengindeks yang Lebih Baik

Robots.txt ialah fail teks kecil yang membimbing bot carian di tapak anda. Ia memberitahu perangkak kawasan yang boleh mereka akses dan laluan yang harus mereka elakkan. Ini memastikan merangkak tertumpu pada halaman yang penting dan mengurangkan lawatan yang terbuang pada URL bernilai rendah.

Gunakan robots.txt untuk menyekat kawasan seperti halaman pentadbir, folder pementasan, URL ujian, halaman penapis dan laluan pendua. Apabila peraturan anda jelas, enjin carian menghabiskan lebih banyak masa pada halaman penting anda. Itu boleh membantu kandungan baharu ditemui dengan lebih cepat dan terus merangkak dengan bersih dan boleh diramal.

Apa Maksud Robots.txt dalam SEO

Robots.txt adalah sebahagian daripada piawaian pengecualian robot. Anda meletakkannya di:

yourdomain.com/robots.txt

Enjin carian sering menyemak fail ini lebih awal kerana ia memberi mereka arah merangkak yang jelas. Jika tapak anda kecil, ia mungkin masih diindeks tanpa fail robots.txt. Tetapi pada tapak yang lebih besar, panduan yang hilang boleh menyebabkan merangkak yang sia-sia dan penemuan halaman utama yang lebih perlahan.

Satu perkara penting:

  • Robots.txt mengawal merangkak
  • Ia tidak menjamin pengindeksan

Jika anda ingin mengesahkan bahawa halaman boleh dipaparkan dalam hasil carian, gunakan semakan kebolehindeksan. Ini membantu anda mengesan isyarat seperti noindex, sumber yang disekat atau isu lain yang tidak dilindungi oleh robots.txt.

Mengapa Robots.txt Membantu Dengan Belanjawan Merangkak

Enjin carian tidak merangkak setiap halaman setiap hari. Mereka merangkak berdasarkan had dan isyarat seperti kelajuan tapak, kesihatan pelayan dan kekerapan kandungan anda berubah.

Jika tapak anda perlahan atau mengembalikan ralat, perangkak mungkin melawat lebih sedikit halaman setiap larian. Itu boleh melambatkan pengindeksan untuk siaran baharu dan halaman yang dikemas kini. Robots.txt membantu dengan mengurangkan rangkak yang terbuang, jadi bot menghabiskan lebih banyak masa pada halaman yang anda sebenarnya mahu mereka fokuskan.

Untuk hasil terbaik, gunakan robots.txt dengan peta laman:

  • Robots.txt membimbing bot tentang perkara yang perlu dirangkak atau dilangkau
  • Peta laman menyenaraikan halaman yang anda mahu rangkak dan diindeks

Robots.txt Peraturan Yang Anda Perlu Tahu

Fail robots.txt menggunakan beberapa arahan mudah. Ia mudah dibaca, tetapi anda mesti menulisnya dengan berhati-hati.

  • Ejen pengguna
  • Menetapkan bot mana peraturan berkenaan
  • Tidak membenarkan
  • Menyekat merangkak untuk folder atau laluan
  • Benarkan
  • Membuka laluan tertentu di dalam folder yang disekat
  • Kelewatan merangkak
  • Meminta merangkak lebih perlahan untuk sesetengah bot (tidak semua bot mengikutinya)

Kesilapan kecil boleh menyekat halaman penting, termasuk kategori utama atau halaman pendaratan teras. Itulah sebabnya menggunakan penjana adalah lebih selamat daripada menulis semuanya secara manual.

Mengapa Laman WordPress Selalunya Memerlukan Robots.txt

WordPress boleh mencipta banyak URL yang tidak membantu SEO, seperti halaman carian dalaman, beberapa halaman arkib dan URL berasaskan parameter. Menyekat kawasan bernilai rendah membantu perangkak menghabiskan lebih banyak masa pada halaman utama, catatan blog dan halaman produk atau perkhidmatan anda.

Walaupun di tapak yang lebih kecil, fail robots.txt yang bersih ialah persediaan pintar. Ia memastikan peraturan rangkak anda teratur apabila tapak berkembang.

Perbezaan Robots.txt dan Peta Laman

Peta tapak membantu enjin carian menemui halaman yang anda mahu rangkak. Robots.txt mengawal ke mana bot boleh pergi.

  • Peta laman meningkatkan penemuan
  • Robots.txt mengawal akses merangkak

Kebanyakan tapak web mendapat manfaat daripada menggunakan kedua-duanya.

Cara Membuat Robots.txt Menggunakan Penjana Ini

Robots.txt mudah, tetapi ia tidak memaafkan. Satu peraturan yang salah boleh menyekat halaman utama. Penjana ini membantu anda membina fail dengan selamat.

Tetapkan capaian lalai

Pilih sama ada semua bot boleh merangkak tapak anda secara lalai.

Tambahkan URL peta laman anda

Sertakan peta tapak anda supaya perangkak boleh mencari halaman penting anda dengan lebih cepat.

Tambah laluan yang tidak dibenarkan dengan berhati-hati

Sekat hanya perkara yang anda benar-benar tidak mahu merangkak. Sentiasa mulakan dengan garis miring ke hadapan, seperti:

/pentadbir/ atau /carian/

Semak sebelum menerbitkan

Semak semula bahawa anda tidak menyekat halaman utama, blog, halaman kategori, atau halaman perkhidmatan utama anda.

Alat SEO Berkaitan Yang Berfungsi Dengan Baik Dengan Robots.txt

Robots.txt adalah salah satu bahagian SEO teknikal. Alat ini menyokong matlamat yang sama dan membantu anda mengesahkan semuanya berfungsi dengan betul: