In development

Penjana Robots.txt |

Advertisement

General directives

Configure default behaviour for all crawlers before layering overrides.

Set a global allow or block rule for User-agent: *.

Throttle crawlers if your server needs breathing room.

Optional host directive for mirrored domains.

One path per line. Supports wildcards and trailing slashes.

Ensure specific folders remain crawlable even when broader paths are blocked.

Provide one sitemap URL per line. Add additional sitemap indexes if you have them.

Common crawlers

Toggle the crawlers you want to block entirely. Leave them allowed to rely on the default rule above.

Custom rules

Add user-agents with tailored allow or block directives, crawl delays, and sitemap hints.

Copy the generated file above and upload it to the root of your domain as robots.txt.

Hasilkan fail robots.txt untuk mengawal tingkah laku merangkak enjin carian.

Table of Content

Robots.txt Penjana untuk Merangkak dan Mengindeks yang Lebih Baik

Robots.txt ialah fail teks kecil yang membimbing bot carian di tapak anda. Ia memberitahu perangkak kawasan mana yang boleh mereka akses dan laluan mana yang harus mereka elakkan. Ini terus merangkak tertumpu pada halaman yang penting dan mengurangkan pembaziran lawatan pada URL bernilai rendah.

Gunakan robots.txt untuk menyekat kawasan seperti halaman pentadbir, folder pementasan, URL ujian, halaman penapis dan laluan pendua. Apabila peraturan anda jelas, enjin carian menghabiskan lebih banyak masa pada halaman penting anda. Itu boleh membantu kandungan baharu ditemui dengan lebih cepat dan terus merangkak bersih dan boleh diramal.

Apa Maksud Robots.txt dalam SEO

Robots.txt adalah sebahagian daripada piawaian pengecualian robot. Anda meletakkannya di:

yourdomain.com/robots.txt

Enjin carian sering menyemak fail ini lebih awal kerana ia memberi mereka arah merangkak yang jelas. Jika tapak anda kecil, ia mungkin masih diindeks tanpa fail robots.txt. Tetapi di tapak yang lebih besar, panduan yang hilang boleh menyebabkan merangkak yang sia-sia dan penemuan halaman utama yang lebih perlahan.

Satu perkara penting:

  • Robots.txt mengawal merangkak
  • Ia tidak menjamin pengindeksan

Jika anda ingin mengesahkan bahawa halaman boleh muncul dalam hasil carian, gunakan semakan kebolehindeksan. Itu membantu anda mengesan isyarat seperti noindex, sumber yang disekat atau isu lain yang tidak dilindungi oleh robots.txt.

Mengapa Robots.txt Membantu Dengan Belanjawan Merangkak

Enjin carian tidak merangkak setiap halaman setiap hari. Mereka merangkak berdasarkan had dan isyarat seperti kelajuan tapak, kesihatan pelayan dan kekerapan kandungan anda berubah.

Jika tapak anda perlahan atau mengembalikan ralat, perangkak mungkin melawati lebih sedikit halaman setiap larian. Itu boleh melambatkan pengindeksan untuk siaran baharu dan halaman yang dikemas kini. Robots.txt membantu dengan mengurangkan rangkak yang terbuang, jadi bot menghabiskan lebih banyak masa pada halaman yang sebenarnya anda mahu mereka fokuskan.

Untuk hasil terbaik, gunakan robots.txt dengan peta laman:

  • Robots.txt membimbing bot tentang perkara yang perlu dirangkak atau dilangkau
  • Peta laman menyenaraikan halaman yang anda mahu rangkak dan diindeks

Robots.txt Peraturan Yang Anda Perlu Tahu

Fail robots.txt menggunakan beberapa arahan mudah. Ia mudah dibaca, tetapi anda mesti menulisnya dengan berhati-hati.

  • Ejen pengguna
  • Menetapkan bot mana peraturan berkenaan
  • Tidak membenarkan
  • Menyekat merangkak untuk folder atau laluan
  • Benarkan
  • Membuka laluan tertentu di dalam folder yang disekat
  • Kelewatan merangkak
  • Meminta merangkak lebih perlahan untuk sesetengah bot (tidak semua bot mengikutinya)

Kesilapan kecil boleh menyekat halaman penting, termasuk kategori utama atau halaman pendaratan teras. Itulah sebabnya menggunakan penjana adalah lebih selamat daripada menulis semuanya secara manual.

Mengapa Laman WordPress Selalunya Memerlukan Robots.txt

WordPress boleh mencipta banyak URL yang tidak membantu SEO, seperti halaman carian dalaman, beberapa halaman arkib dan URL berasaskan parameter. Menyekat kawasan bernilai rendah membantu perangkak menghabiskan lebih banyak masa pada halaman utama, catatan blog dan halaman produk atau perkhidmatan anda.

Walaupun di tapak yang lebih kecil, fail robots.txt yang bersih ialah persediaan pintar. Ia memastikan peraturan rangkak anda teratur apabila tapak berkembang.

Perbezaan Robots.txt dan Peta Laman

Peta laman membantu enjin carian menemui halaman yang anda mahu rangkak. Robots.txt mengawal ke mana bot boleh pergi.

  • Peta laman meningkatkan penemuan
  • Robots.txt mengawal akses merangkak

Kebanyakan tapak web mendapat manfaat daripada menggunakan kedua-duanya.

Cara Membuat Robots.txt Menggunakan Penjana Ini

Robots.txt mudah, tetapi ia tidak memaafkan. Satu peraturan yang salah boleh menyekat halaman utama. Penjana ini membantu anda membina fail dengan selamat.

Tetapkan capaian lalai

Pilih sama ada semua bot boleh merangkak tapak anda secara lalai.

Tambahkan URL peta laman anda

Sertakan peta tapak anda supaya perangkak boleh mencari halaman penting anda dengan lebih cepat.

Tambah laluan yang tidak dibenarkan dengan berhati-hati

Sekat hanya apa yang anda benar-benar tidak mahu merangkak. Sentiasa mulakan dengan garis miring ke hadapan, seperti:

/pentadbir/ atau /carian/

Semak sebelum menerbitkan

Semak semula bahawa anda tidak menyekat halaman utama, blog, halaman kategori, atau halaman perkhidmatan utama anda.

Alat SEO Berkaitan Yang Berfungsi Dengan Baik Dengan Robots.txt

Robots.txt adalah salah satu bahagian SEO teknikal. Alat ini menyokong matlamat yang sama dan membantu anda mengesahkan semuanya berfungsi dengan betul:

Related Tools