Robots.txt جنریټر |

Robots.txt جنریټر د ښه کرینګ او انډیکس کولو لپاره

Robots.txt یو کوچنی متن فایل دی چې ستاسو په سایټ کې د لټون بوټونو لارښود کوي.

د ساحو د بندولو لپاره robots.txt وکاروئ لکه اداري پاڼې، سټینګ فولډر، ټیسټ URLs، فلټر پاڼې، او نقل شوي لارې.

په SEO کې Robots.txt څه معنی لري

Robots.txt د روبوټ جالوالی معیار برخه ده.

yourdomain.com/robots.txt

د لټون انجنونه اکثرا دا فایل ژر تر ژره ګوري ځکه چې دا دوی ته د کرینګ لارښوونې روښانه کوي.

یو مهم ټکی:

• Robots.txt کنټرولونه کرول کول
• دا تضمین نه کوي د لیست کولو

که تاسو غواړئ تایید کړئ چې یوه پاڼه د لټون پایلو کې ښکاره کیدی شي، د شاخص چک وکاروئ.

ولې Robots.txt د کرال بودیجې سره مرسته کوي

د لټون انجنونه هره ورځ هره پاڼه نه ګوري.

که ستاسو سایټ ورو وي یا غلطۍ بیرته راولي، کرالر ممکن په هر چل کې لږ پاڼې وګوري.

د غوره پایلو لپاره، د sitemap سره robots.txt وکاروئ:

• Robots.txt د بوټونو لارښود کوي چې څه باید کرال یا پریښودل شي
• د سایټ نقشه لیستونه هغه پاڼې چې تاسو یې غواړئ کرول شوي او لیست شوي

د Robots.txt قواعد چې تاسو باید پوه شئ

د robots.txt فایل یو څو ساده لارښوونې کاروي.

• د کارونکي استازي
• سیټ کوم بوټو ته چې قاعده پلي کیږي
• منع کول
• د فولډر یا لارې لپاره کرول کول بندوي
• اجازه ورکړئ
• د بند شوي فولډر دننه یوه ځانګړې لاره پرانیزي
• کرال ځنډ
• د ځینې بوټو لپاره د ورو کرولو غوښتنه کوي (ټول بوټونه یې نه تعقیبوي)

یوه کوچنۍ غلطي کولی شي مهمې پاڼې بندې کړي، په شمول د کلیدي کټګوریو یا اصلي لینډینګ پاڼې.

ولې د ورڈپریس سایټونه اکثرا Robots.txt ته اړتیا لري

ورڈپریس کولی شي ډیری URLs رامینځته کړي چې د SEO سره مرسته نه کوي، لکه د داخلي لټون پاڼې، ځینې آرشیف پاڼې، او د پیرامیټر پر بنسټ URLs.

حتی په کوچنیو سایټونو کې، د پاک روبوټس.txt فایل یو سمارټ ترتیب دی.

د Robots.txt او Sitemap توپیر

د سایټ نقشه د لټون انجنونو سره مرسته کوي هغه پاڼې کشف کړي چې تاسو یې کرول کول غواړئ.

• Sitemap کشف ښه کوي
• Robots.txt د کرینګ لاسرسی کنټرولوي

ډیری ویب پاڼې د دواړو کارولو څخه ګټه پورته کوي.

د دې جنراتور په کارولو سره څنګه Robots.txt جوړ کړئ

Robots.txt ساده دی، مګر دا بخښونکی ندی.

ډیفالټ لاسرسی تنظیم کړئ

غوره کړئ چې ایا ټول بوټونه کولی شي ستاسو سایټ په ډیفالټ ډول کرال کړي.

د خپل سایټ نقشه URL اضافه کړئ

خپل سایټ نقشه شامل کړئ نو کریلر کولی شي ستاسو مهم پاڼې ګړندي ومومي.

منظور شوي لارې په احتیاط سره اضافه کړئ

یوازې هغه څه بند کړئ چې تاسو واقعیا نه غواړئ کرول شي.

/admin/ یا /search/

د خپرولو دمخه بیاکتنه وکړئ

دوه ځله وګورئ چې تاسو خپل کورپاڼه، بلاګ، د کټګورۍ پاڼې، یا اصلي خدمت پاڼې نه بندې کړي.

اړوند SEO وسیلې چې د Robots.txt سره ښه کار کوي

Robots.txt د تخنیکي SEO یوه برخه ده.

• Sitemap Checker: تاییدوي چې ستاسو د سایټ نقشه د اعتبار وړ ده او د بوټونو لپاره لوستل اسانه دي.
• د ګوګل انډیکس چیکر: دا تاییدوي چې ایا یوه پاڼه شاخص کیدی شي او عام بلاکرونه لکه noindex بیرغ کوي.
• د HTTP حالت کوډ وګورئ: 200، 301، 404، او د سرور تېروتنې لټوي چې کولی شي ورو کول ورو کړي.
• وړیا لارښود چیکر: تاییدوي چې لارښوونې پاکې دي او په زنځیرونو یا لوپونو کې ندي بند شوي.
• د میټا ټاګونو تحلیل: د SEO غلطیو لپاره سرلیکونه، توضیحات او د روبوټ میټا ټاګونو بیاکتنه.