Robots.txt Generator |
Жалпы көрсөтмөлөр
Катмарлоону жокко чыгаруудан мурун, бардык жөрмөлөгүчтөр үчүн демейки жүрүм-турумду конфигурациялаңыз.
Колдонуучу-агент үчүн глобалдык уруксат берүү же бөгөттөө эрежесин коюңуз: *.
Эгерде официантка дем алууга орун керек болсо, дроссель менен жөрмөлөңүз.
Күзгү түрүндөгү домендер үчүн кошумча хост директивасы.
Ар бир сапка бирден жол. Уайлд-артиктерди жана арткы сызыктарды колдойт.
Кеңири жолдор бөгөттөлгөн учурда да, белгилүү бир папкаларды скандоо мүмкүн бойдон калышын камсыз кылыңыз.
Ар бир сапка бирден сайт картасынын URL дарегин бериңиз. Эгер сизде кошумча сайт картасынын индекстери болсо, аларды кошуңуз.
Кадимки сойлоп жүрүүчүлөр
Толугу менен бөгөттөгүңүз келген жөрмөлөгүчтөрдү өчүрүп-күйгүзүңүз. Аларга жогорудагы демейки эрежеге таянууга уруксат бериңиз.
Ыңгайлаштырылган эрежелер
Жекелештирилген уруксат берүү же бөгөттөө директивалары, издөө кечиктирүүлөрү жана сайт картасы боюнча кеңештер менен колдонуучу-агенттерин кошуңуз.
Азырынча ыңгайлаштырылган эрежелер жок. Аны түзүү үчүн жогорудагы баскычты колдонуңуз.
Так же жалпы колдонуучу-агент сабы.
Жогоруда түзүлгөн файлды көчүрүп, аны robots.txt катары домениңиздин түпкү бөлүмүнө жүктөңүз.
Жакшы сойлоп чыгуу жана индекстөө үчүн Robots.txt генератору
Robots.txt - бул сиздин сайтыңыздагы издөө ботторуна жетекчилик кылган кичинекей текст файлы.
Администратор барактары, папкалар, сыноо URL даректери, чыпкалоо баракчалары жана кайталанма жолдор сыяктуу аймактарды бөгөттөө үчүн robots.txt колдонуңуз.
Robots.txt SEOде эмнени билдирет
Robots.txt - роботторду четке кагуу стандартынын бир бөлүгү.
yourdomain.com/robots.txt
Издөө системалары көбүнчө бул файлды эрте текшерет, анткени ал аларга так сойлоп чыгуу багыттарын берет.
Бир маанилүү жагдай:
- Robots.txt жөрмөлөп чыгууну башкарат
- Бул индекстештирүүгө кепилдик бербейт
Эгер сиз барак издөө натыйжаларында пайда болушу мүмкүн экенин ырастоону кааласаңыз, индекстелүүнү текшерүүнү колдонуңуз.
Эмне үчүн Robots.txt Crawl бюджетине жардам берет
Издөө системалары ар бир баракчаны күн сайын сойлобойт.
Эгер сиздин сайт жай иштесе же каталарды кайтарса, жөрмөлөгүчтөр бир ишке азыраак барактарды көрө алышат.
Эң жакшы натыйжалар үчүн, сайт картасы менен robots.txt файлын колдонуңуз:
- Robots.txt ботторго эмнелерди жөрмөлөп же өткөрүп жиберүү керектигин көрсөтөт
- Сайт картасынын тизмелери сиз сойлоп, индекстелетиңиз келген барактар
Robots.txt эрежелери сиз билишиңиз керек
A robots.txt file uses a few simple directives.
- Колдонуучу-агент
- Эреже кайсы ботко колдонуларын белгилейт
- Болбоо
- Папканы же жолду издөөнү бөгөттөө
- Уруксат берүү
- Бөгөттөлгөн папканын ичинде белгилүү бир жолду ачат
- Сөрмөлөө-кечигитүү
- Кээ бир боттор үчүн жайыраак сойлоону суранат (баардык боттор аны ээрчибейт)
Кичинекей ката маанилүү барактарды, анын ичинде негизги категорияларды же негизги баштапкы беттерди бөгөттөп коюшу мүмкүн.
Эмне үчүн WordPress сайттарына Robots.txt керек
WordPress SEOге жардам бербеген көптөгөн URL даректерин түзө алат, мисалы, ички издөө барактары, кээ бир архив баракчалары жана параметрге негизделген URL'дер.
Кичинекей сайттарда да таза robots.txt файлы акылдуу орнотуу болуп саналат.
Robots.txt жана Сайт картасынын айырмасы
Сайттын картасы издөө системаларына сиз сүзгүңүз келген баракчаларды табууга жардам берет.
- Сайт картасы ачылышты жакшыртат
- Robots.txt жөрмөлөө мүмкүнчүлүгүн көзөмөлдөйт
Көпчүлүк веб-сайттар экөөнү тең колдонуудан пайда көрөт.
Бул генератордун жардамы менен Robots.txt кантип түзүүгө болот
Robots.txt жөнөкөй, бирок ал кечиримдүү эмес.
Демейки мүмкүнчүлүктү коюу
Бардык боттор демейки боюнча сайтыңызды сойлой аларын тандаңыз.
Сайт картасынын URL'ин кошуңуз
Crawlers маанилүү баракчаларыңызды тезирээк таап алышы үчүн сайтыңыздын картасын кошуңуз.
Уруксат берилбеген жолдорду кылдаттык менен кошуңуз
Сиз чындап сойлоп кетүүнү каалабаган нерсени гана бөгөттөңүз.
/admin/ же /search/
Жарыялоодон мурун карап чыгуу
Башкы бетиңизди, блогуңузду, категория барактарды же негизги кызмат баракчаларыңызды бөгөттөбөгөнүңүздү эки жолу текшериңиз.
Robots.txt менен жакшы иштеген тиешелүү SEO куралдары
Robots.txt - техникалык SEOдин бир бөлүгү.
- Сайттын картасын текшергич: Сиздин сайттын картасы жарактуу жана боттор үчүн оңой окулушун ырастайт.
- Google Index Checker: Барактын индекстелиши мүмкүнбү же жокпу текшерет жана noindex сыяктуу жалпы блокаторлорду белгилейт.
- HTTP Статус кодун текшериңиз: 200, 301, 404 жана сервер каталарын табат, алар сойлоп чыгууну жайлатат.
- Акысыз Багыттоо Текшергичи: Багыттоолордун таза экенин жана чынжырларга же илмектерге тыгылып калбагандыгын ырастайт.
- Мета тегдерди талдоо: SEO каталары үчүн аталыштарды, сүрөттөмөлөрдү жана роботтордун мета тегдерин карап чыгуу.