İnkişaf mərhələsindədir

Robots.txt Generator |

Reklam

Ümumi direktivlər

Layering override-lərindən əvvəl bütün tarayıcılar üçün standart davranışı konfiqurasiya edin.

İstifadəçi-agent üçün qlobal icazə və ya blok qaydası təyin edin: *.

Serverinizin nəfəs almaq üçün yer lazımdırsa, drossel sürünənləri.

Güzgülü domenlər üçün isteğe bağlı host direktivi.

Hər sətirdə bir yol. Joker işarələri və arxadakı kəsikləri dəstəkləyir.

Daha geniş yollar bağlandıqda belə, müəyyən qovluqların taranabilir qalmasını təmin edin.

Hər sətirdə bir sayt xəritəsi URL-i təqdim edin. Əlavə sayt xəritəsi indeksləriniz varsa, əlavə edin.

Adi sürünənlər

Tamamilə bloklamaq istədiyiniz brauzerləri dəyişdirin. Yuxarıdakı standart qaydaya etibar etmələrinə icazə verin.

Xüsusi qaydalar

Xüsusi icazə və ya blok direktivləri, sürünmə gecikmələri və sayt xəritəsi göstərişləri ilə istifadəçi agentləri əlavə edin.

Yuxarıda yaradılan faylı kopyalayın və robots.txt olaraq domeninizin kökünə yükləyin.

Axtarış motorunun tarama davranışını idarə etmək üçün robots.txt faylları yaradın.
Table of Contents

Daha yaxşı tarama və indeksləşdirmə üçün Robots.txt Generatoru

Robots.txt saytınızdakı axtarış botlarına rəhbərlik edən kiçik mətn faylıdır.

Admin səhifələri, quruluş qovluqları, test URL-ləri, filtr səhifələri və dublikat yollar kimi sahələri bloklamaq üçün robots.txt istifadə edin.

Robots.txt SEO-da nə deməkdir

Robots.txt robotlar istisna standartının bir hissəsidir.

yourdomain.com/robots.txt

Axtarış motorları tez-tez bu faylı erkən yoxlayır, çünki bu, onlara aydın tarama istiqamətləri verir.

Bir vacib məqam:

  • Robots.txt taranmağa nəzarət edir
  • O, indeksləşdirməyə zəmanət vermir

Səhifənin axtarış nəticələrində görünə biləcəyini təsdiqləmək istəyirsinizsə, indeksləşdirilmə yoxlamasından istifadə edin.

Robots.txt Nəyə görə Büdcəni Taramada Kömək edir

Axtarış motorları hər gün hər səhifəni taramaz.

Saytınız yavaşdırsa və ya səhvlər qaytarırsa, taramaçılar hər qaçışda daha az səhifəyə baş çəkə bilər.

Ən yaxşı nəticələr üçün sayt xəritəsi ilə robots.txt-dən istifadə edin:

  • Robots.txt botlara nəyi taramaq və ya keçmək barədə təlimat verir
  • Sayt xəritəsi siyahıları taramaq və indeksləşdirmək istədiyiniz səhifələri

Bilməli olduğunuz Robots.txt Qaydaları

Bir robots.txt faylı bir neçə sadə direktivdən istifadə edir.

  • İstifadəçi-agent
  • Qaydanın hansı bota aid olduğunu təyin edir
  • İcazə verməyin
  • Qovluq və ya yol üçün taramanı bloklayır
  • İcazə verin
  • Bloklanmış qovluq daxilində xüsusi bir yol açır
  • Tarama gecikməsi
  • Bəzi botlar üçün daha yavaş tarama tələb edir (bütün botlar buna əməl etmir)

Kiçik bir səhv əsas kateqoriyalar və ya əsas açılış səhifələri daxil olmaqla mühüm səhifələri bloklaya bilər.

Niyə WordPress saytlarına tez-tez Robots.txt lazımdır

WordPress daxili axtarış səhifələri, bəzi arxiv səhifələri və parametrə əsaslanan URL-lər kimi SEO-ya kömək etməyən bir çox URL yarada bilər.

Hətta kiçik saytlarda belə təmiz robots.txt faylı ağıllı quraşdırmadır.

Robots.txt və Sayt Xəritəsi Fərqi

Sayt xəritəsi axtarış motorlarına taranmaq istədiyiniz səhifələri tapmağa kömək edir.

  • Sayt xəritəsi kəşfi təkmilləşdirir
  • Robots.txt tarama girişinə nəzarət edir

Əksər saytlar hər ikisini istifadə etməkdən faydalanır.

Bu Generatordan istifadə edərək Robots.txt-i Necə Yaratmaq olar

Robots.txt sadədir, lakin bağışlayan deyil.

Defolt girişi təyin edin

Defolt olaraq bütün botların saytınızı skan edə biləcəyini seçin.

Site xəritəsi URL-nizi əlavə edin

Sayt xəritənizi daxil edin ki, taramaçılar vacib səhifələrinizi daha tez tapa bilsinlər.

İcazə verilməyən yolları diqqətlə əlavə edin

Yalnız həqiqətən taramasını istəmədiyiniz şeyi bloklayın.

/admin/ və ya /search/

Dərc etməzdən əvvəl nəzərdən keçirin

Əsas səhifənizi, bloqunuzu, kateqoriya səhifələrinizi və ya əsas xidmət səhifələrinizi bloklamadığınızı iki dəfə yoxlayın.

Robots.txt ilə yaxşı işləyən əlaqəli SEO alətləri

Robots.txt texniki SEO-nun bir hissəsidir.

Əlaqəli alətlər

Geri bağlantılar generatoru

Google SERP yoxlayıcısı

UTM/Kampaniya URL Qurucusu

Qrafik yoxlayıcısını açın

Meta Teqlər Analizatoru

FaqSchemaGenerator

Google İndeksləməni yoxlayın

Google Serp Simulator

Vebsayt Səhifə Sayğacı

Sınıq Bağlantı Yoxlayıcısı