В процес на разработка

Генератор на robots.txt |

Реклама

Общи директиви

Конфигурирайте поведението по подразбиране за всички роботи, преди да презапишете наслояванията.

Задайте глобално правило за разрешаване или блокиране за потребителски агент: *.

Намалете скоростта на роботите, ако вашият сървър се нуждае от повече пространство.

Незадължителна директива за хост за огледални домейни.

Един път на ред. Поддържа заместващи символи и наклонени черти в края.

Осигурете достъп до обхождане на определени папки, дори когато по-широки пътища са блокирани.

Предоставяйте по един URL адрес на картата на сайта на ред. Добавете допълнителни индекси на картата на сайта, ако имате такива.

Често срещани роботи

Превключете роботите, които искате да блокирате изцяло. Оставете им да разчитат на правилото по подразбиране по-горе.

Персонализирани правила

Добавете потребителски агенти с персонализирани директиви за разрешаване или блокиране, забавяния на обхождането и подсказки за картата на сайта.

Копирайте генерирания файл по-горе и го качете в корена на вашия домейн като robots.txt.

Генерирайте файлове robots.txt, за да контролирате поведението при обхождане на търсачката.
Table of Contents

Генератор на Robots.txt за по-добро обхождане и индексиране

Robots.txt е малък текстов файл, който насочва ботовете за търсене във вашия сайт.

Използвайте robots.txt, за да блокирате области като администраторски страници, папки за етапи, тестови URL адреси, филтриращи страници и дублирани пътища.

Какво означава Robots.txt в SEO

Robots.txt е част от стандарта за изключване на роботи.

yourdomain.com/robots.txt

Търсачките често проверяват този файл рано, защото им дава ясни указания за обхождане.

Една важна точка:

  • Robots.txt контролира обхождането
  • Не гарантира индексиране

Ако искате да потвърдите, че дадена страница може да се появи в резултатите от търсенето, използвайте проверка за индексиране.

Защо Robots.txt помага с бюджета за обхождане

Търсачките не обхождат всяка страница всеки ден.

Ако вашият сайт е бавен или връща грешки, роботите може да посещават по-малко страници на изпълнение.

За най-добри резултати използвайте robots.txt с карта на сайта:

  • Robots.txt насочва ботовете какво да обхождат или пропускат
  • Sitemap изброява страниците, които искате да бъдат обходени и индексирани

Правила за Robots.txt, които трябва да знаете

Файлът robots.txt използва няколко прости директиви.

  • Потребителски агент
  • Задава за кой бот се прилага правилото
  • Забрана
  • Блокира обхождането за папка или път
  • Разрешаване
  • Отваря определен път в блокирана папка
  • Забавяне при обхождане
  • Изисква по-бавно обхождане за някои ботове (не всички ботове го следват)

Малка грешка може да блокира важни страници, включително ключови категории или основни целеви страници.

Защо WordPress сайтовете често се нуждаят от Robots.txt

WordPress може да създаде много URL адреси, които не помагат на SEO, като вътрешни страници за търсене, някои архивни страници и URL адреси, базирани на параметри.

Дори на по-малки сайтове чистият файл robots.txt е интелигентна настройка.

Разлика между Robots.txt и Sitemap

Картата на сайта помага на търсачките да открият страниците, които искате да бъдат обходени.

  • Карта на сайта подобрява откриването
  • Robots.txt контролира достъпа при обхождане

Повечето уебсайтове се възползват от използването и на двете.

Как да създадете Robots.txt с помощта на този генератор

Robots.txt е прост, но не прощава.

Задайте достъп по подразбиране

Изберете дали всички ботове могат да обхождат вашия сайт по подразбиране.

Добавете URL адреса на вашата карта на сайта

Включете вашата карта на сайта, така че роботите да могат да намерят важните ви страници по-бързо.

Внимателно добавете непозволените пътища

Блокирайте само това, което наистина не искате да бъде обхождано.

/admin/ или /search/

Преглед преди публикуване

Проверете отново дали не сте блокирали началната страница, блога, страниците с категории или основните страници на услугите.

Свързани инструменти за SEO, които работят добре с Robots.txt

Robots.txt е част от техническото SEO.

Свързани инструменти

Проверка на трудност на ключови думи

Инструмент за предложения за ключови думи

LSI генератор на ключови думи

Групиране на ключови думи

Анализатор на намерения за търсене

Инструмент за изследване на ключови думи

Анализатор на ключови думи на конкуренти

Проследяване на ранг на ключови думи

Проверка на обема на търсенето

Калкулатор за CPC на ключови думи