İnkişaf mərhələsindədir

Robots.txt Generator |

Reklam

Ümumi direktivlər

Layering override-lərindən əvvəl bütün tarayıcılar üçün standart davranışı konfiqurasiya edin.

İstifadəçi-agent üçün qlobal icazə və ya blok qaydasını təyin edin: *.

Serverinizin nəfəs alma otağına ehtiyacı varsa, tənzimləyiciləri tənzimləyin.

Yansıtılmış domenlər üçün isteğe bağlı host direktivi.

Hər sətirdə bir yol. Joker işarələri və arxadakı kəsikləri dəstəkləyir.

Daha geniş yollar bloklansa belə, xüsusi qovluqların sürülə bilən qalmasını təmin edin.

Hər sətirdə bir sayt xəritəsi URL-i təqdim edin. Əlavə sayt xəritəsi indeksləriniz varsa, əlavə edin.

Ümumi sürünənlər

Tamamilə bloklamaq istədiyiniz brauzerləri dəyişdirin. Yuxarıdakı standart qaydaya etibar etmələrinə icazə verin.

Fərdi qaydalar

Xüsusi icazə və ya blok direktivləri, tarama gecikmələri və sayt xəritəsi göstərişləri ilə istifadəçi agentləri əlavə edin.

Yuxarıda yaradılan faylı kopyalayın və onu robots.txt olaraq domeninizin kökünə yükləyin.

Axtarış motorunun tarama davranışını idarə etmək üçün robots.txt faylları yaradın.
Reklam

Məzmun cədvəli

Robots.txt Daha yaxşı sürünmə və indeksləmə üçün generator

Robots.txt saytınızdakı axtarış botlarını yönləndirən kiçik bir mətn faylıdır. O, sürünənlərə hansı ərazilərə daxil ola biləcəklərini və hansı yollardan uzaq durmalı olduqlarını bildirir. Bu, crawling-in önəmli səhifələrə fokuslanmasını təmin edir və aşağı dəyərli URL-lərə israf olunan ziyarətləri azaldır.

robots.txt istifadə edərək admin səhifələri, səhnələşdirmə qovluqları, test URL-ləri, filtr səhifələri və təkrarlanan yolları bloklayın. Qaydalarınız aydın olduqda, axtarış motorları vacib səhifələrinizə daha çox vaxt ayırır. Bu, yeni məzmunun daha tez kəşf olunmasına və təmiz, proqnozlaşdırıla bilən qalmasına kömək edə bilər.

SEO-da Robots.txt nə deməkdir

Robots.txt robotların istisna standartının bir hissəsidir. Onu aşağıdakı ünvana yerləşdirirsiniz:

yourdomain.com/robots.txt

Axtarış motorları tez-tez bu faylı erkən yoxlayır, çünki onlara aydın sürüşmə istiqamətləri verir. Əgər saytınız kiçikdirsə, robots.txt faylı olmadan da indekslənə bilər. Amma böyük saytlarda tövsiyələrin olmaması israf olunan crawling-ə və əsas səhifələrin daha yavaş tapılmasına səbəb ola bilər.

Bir vacib məqam:

  • Robots.txt idarəetmələri sürünür
  • Bu, indeksləşdirməyə zəmanət vermir

Əgər səhifənin axtarış nəticələrində görünə biləcəyini təsdiqləmək istəyirsinizsə, indeksləmə yoxlamasından istifadə edin. Bu, noindex, bloklanmış resurslar və ya robots.txt əhatə etmədiyi digər problemləri aşkar etməyə kömək edir.

Niyə Robots.txt Crawl Budget ilə Kömək Edir

Axtarış motorları hər səhifəni hər gün yoxlamır. Onlar sayt sürəti, server sağlamlığı və məzmununuzun dəyişmə tezliyi kimi məhdudiyyətlər və siqnallara əsaslanaraq sürünürlər.

Əgər saytınız yavaşdırsa və ya səhvlər qaytarırsa, crawlerlər hər dəfə daha az səhifə ziyarət edə bilərlər. Bu, yeni yazılar və yenilənmiş səhifələr üçün indeksləməni gecikdirə bilər. Robots.txt, boşa gedən crawlları azaldır, beləliklə botlar diqqət yetirmək istədiyiniz səhifələrə daha çox vaxt ayırırlar.

Ən yaxşı nəticə üçün robots.txt saytı xəritəsi ilə istifadə edin:

  • Robots.txt botlara nəyi sürünmək və ya keçmək lazım olduğunu yönləndirir
  • Saytın xəritəsində skanlanmaq və indekslənmək istədiyiniz səhifələr siyahıya alınır

Robots.txt Bilməli Olduğunuz Qaydalar

robots.txt faylı bir neçə sadə direktivdən istifadə edir. Onları oxumaq asandır, amma onları diqqətlə yazmaq lazımdır.

  • İstifadəçi-agent
  • Qaydanın hansı bota tətbiq olunduğunu müəyyən edir
  • İcazə vermə
  • Qovluq və ya yol üçün sürünən bloklar
  • İcazə verin
  • Bloklanmış qovluğun içində xüsusi bir yol açır
  • Sürünmə gecikməsi
  • Bəzi botlar üçün sorğular yavaş sürüşür (bütün botlar buna əməl etmir)

Kiçik bir səhv vacib səhifələri, o cümlədən əsas kateqoriyaları və ya əsas açılış səhifələrini bloklaya bilər. Buna görə generator istifadə etmək hər şeyi əl ilə yazmaqdan daha təhlükəsizdir.

Niyə WordPress saytları tez-tez Robots.txt ehtiyac duyur

WordPress SEO-ya kömək etməyən bir çox URL yarada bilər, məsələn, daxili axtarış səhifələri, bəzi arxiv səhifələri və parametr əsaslı URL-lər. Aşağı dəyərli sahələri bloklamaq crawlerlərin əsas səhifələrinizə, bloq yazılarınıza və məhsul və ya xidmət səhifələrinizə daha çox vaxt ayırmasına kömək edir.

Hətta kiçik saytlarda belə, təmiz robots.txt faylı ağıllı quruluşdur. Sayt böyüdükcə skan qaydalarınızı nizamlı saxlayır.

Robots.txt və Sayt Xəritəsi Fərqi

Sayt xəritəsi axtarış motorlarına taranmaq istədiyiniz səhifələri tapmağa kömək edir. Robots.txt botların hara gedə biləcəyi idarəetmə.

  • Sayt xəritəsi kəşfi yaxşılaşdırır
  • Robots.txt sürünmə girişini idarə edir

Əksər saytlar hər ikisindən faydalanır.

Bu generatorla necə Robots.txt yaratmaq olar

Robots.txt sadədir, amma bağışlayıcı deyil. Bir səhv qayda əsas səhifələri bloklaya bilər. Bu generator faylı təhlükəsiz şəkildə qurmağa kömək edir.

Standart girişi təyin edin

Bütün botların saytınızı standart olaraq skralaya biləcəyini seçin.

Sayt xəritəsi URL-nizi əlavə edin

Sayt xəritənizi daxil edin ki, tarayıcılar vacib səhifələrinizi daha tez tapa bilsinlər.

Qadağan edilmiş yolları diqqətlə əlavə edin

Yalnız həqiqətən sürünmək istəmədiyiniz şeyləri bloklayın. Həmişə irəli slash ilə başla, məsələn:

/admin/ və ya /search/

Nəşrdən əvvəl rəy

Ana səhifənizi, bloqunuzu, kateqoriya səhifələrinizi və ya əsas xidmət səhifələrinizi bloklamadığınıza iki dəfə əmin olun.

Robots.txt ilə yaxşı işləyən əlaqəli SEO alətləri

Robots.txt texniki SEO-nun bir hissəsidir. Bu alətlər eyni məqsədi dəstəkləyir və hər şeyin düzgün işlədiyini təsdiqləməyə kömək edir:

API Sənədləri Tezliklə Gələcək

Documentation for this tool is being prepared. Please check back later or visit our full API documentation.

Əlaqəli Alətlər