উন্নয়নাধীন

Robots.txt জেনারেটর |

বিজ্ঞাপন

সাধারণ নির্দেশাবলী

লেয়ারিং ওভাররাইডের আগে সমস্ত ক্রলারের জন্য ডিফল্ট আচরণ কনফিগার করুন।

ডিফল্ট অ্যাক্সেস

ব্যবহারকারী-এজেন্টের জন্য একটি বিশ্বব্যাপী অনুমতি বা ব্লক নিয়ম সেট করুন: *।

ক্রল বিলম্ব (সেকেন্ড)

আপনার সার্ভারের যদি শ্বাস-প্রশ্বাসের প্রয়োজন হয়, তাহলে থ্রটল ক্রলার ব্যবহার করুন।

প্রাথমিক হোস্ট

মিরর করা ডোমেনের জন্য ঐচ্ছিক হোস্ট নির্দেশিকা।

পাথগুলি নিষিদ্ধ করুন

প্রতি লাইনে একটি পাথ। ওয়াইল্ডকার্ড এবং ট্রেইলিং স্ল্যাশ সমর্থন করে।

পথগুলিকে অনুমতি দিন

নিশ্চিত করুন যে নির্দিষ্ট ফোল্ডারগুলি ক্রল করা যায়, এমনকি যখন প্রশস্ত পথগুলি অবরুদ্ধ থাকে।

সাইটম্যাপ ইউআরএল

প্রতি লাইনে একটি করে সাইটম্যাপ URL দিন। যদি আপনার কাছে অতিরিক্ত সাইটম্যাপ সূচী থাকে তবে সেগুলি যোগ করুন।

সাধারণ ক্রলার

আপনি যে ক্রলারগুলিকে সম্পূর্ণরূপে ব্লক করতে চান সেগুলি টগল করুন। উপরের ডিফল্ট নিয়মের উপর নির্ভর করার অনুমতি দিন।

কাস্টম নিয়ম

ব্যবহারকারী-এজেন্ট যোগ করুন, যাতে অনুমতি বা ব্লকের জন্য উপযুক্ত নির্দেশিকা, ক্রল বিলম্ব এবং সাইটম্যাপের ইঙ্গিত থাকে।

অটো-আপডেট প্রিভিউ

উপরে তৈরি করা ফাইলটি কপি করুন এবং আপনার ডোমেনের রুটে robots.txt হিসেবে আপলোড করুন।

সার্চ ইঞ্জিন ক্রলিং আচরণ নিয়ন্ত্রণ করতে robots.txt ফাইল তৈরি করুন।

বিজ্ঞাপন

সূচি তালিকা

Robots.txt আরও ভাল ক্রলিং এবং ইনডেক্সিংয়ের জন্য জেনারেটর

Robots.txt একটি ছোট পাঠ্য ফাইল যা আপনার সাইটে অনুসন্ধান বটগুলিকে গাইড করে। এটি ক্রলারদের বলে যে তারা কোন অঞ্চলে অ্যাক্সেস করতে পারে এবং কোন পথগুলি তাদের এড়ানো উচিত। এটি গুরুত্বপূর্ণ পৃষ্ঠাগুলিতে ফোকাস করে এবং স্বল্প-মূল্যের ইউআরএলগুলিতে অপচয় হওয়া পরিদর্শনগুলি হ্রাস করে।

অ্যাডমিন পৃষ্ঠাগুলি, স্টেজিং ফোল্ডারগুলি, পরীক্ষার URL, ফিল্টার পৃষ্ঠাগুলি এবং সদৃশ পথগুলির মতো ক্ষেত্রগুলি অবরোধ করতে robots.txt ব্যবহার করুন। যখন আপনার নিয়ম পরিষ্কার হয়, তখন সার্চ ইঞ্জিনগুলি আপনার গুরুত্বপূর্ণ পৃষ্ঠাগুলিতে আরও বেশি সময় ব্যয় করে। এটি নতুন সামগ্রী দ্রুত আবিষ্কার করতে এবং পরিষ্কার এবং অনুমানযোগ্য রাখতে সহায়তা করতে পারে।

SEO Robots.txt বলতে কি বুঝায়?

Robots.txt রোবট এক্সক্লুশন স্ট্যান্ডার্ডের অংশ। আপনি এটি এখানে রাখুন:

yourdomain.com/robots.txt

সার্চ ইঞ্জিনগুলি প্রায়শই এই ফাইলটি তাড়াতাড়ি পরীক্ষা করে কারণ এটি তাদের পরিষ্কার ক্রলিং দিকনির্দেশনা দেয়। যদি আপনার সাইটটি ছোট হয় তবে এটি এখনও কোনও robots.txt ফাইল ছাড়াই ইনডেক্স হতে পারে। তবে বৃহত্তর সাইটগুলিতে, অনুপস্থিত গাইডেন্স অপচয় ক্রলিং এবং মূল পৃষ্ঠাগুলির ধীর আবিষ্কারের দিকে পরিচালিত করতে পারে।

একটি গুরুত্বপূর্ণ বিষয়:

Robots.txt হামাগুড়ি নিয়ন্ত্রণ করে
এটি সূচকের গ্যারান্টি দেয় না

আপনি যদি নিশ্চিত করতে চান যে কোনও পৃষ্ঠা অনুসন্ধানের ফলাফলগুলিতে উপস্থিত হতে পারে তবে একটি সূচকযোগ্যতা পরীক্ষা ব্যবহার করুন। এটি আপনাকে নোইনডেক্স, অবরুদ্ধ সংস্থানগুলি বা অন্যান্য সমস্যাগুলির মতো সংকেতগুলি চিহ্নিত করতে সহায়তা করে যা robots.txt কভার করে না।

কেন Robots.txt ক্রল বাজেটে সহায়তা করে

সার্চ ইঞ্জিন প্রতিদিন প্রতিটি পৃষ্ঠায় হামাগুড়ি দেয় না। সাইটের গতি, সার্ভারের স্বাস্থ্য এবং আপনার সামগ্রী কত ঘন ঘন পরিবর্তিত হয় তার মতো সীমা এবং সংকেতের উপর ভিত্তি করে তারা ক্রল করে।

যদি আপনার সাইটটি ধীর হয় বা ত্রুটিগুলি ফিরিয়ে দেয় তবে ক্রলাররা প্রতি রানে কম পৃষ্ঠা পরিদর্শন করতে পারে। এটি নতুন পোস্ট এবং আপডেট করা পৃষ্ঠাগুলির জন্য সূচককরণে বিলম্ব করতে পারে। Robots.txt অপচয় হওয়া ক্রলগুলি হ্রাস করতে সহায়তা করে, তাই বটগুলি আপনি যে পৃষ্ঠাগুলিতে ফোকাস করতে চান সেগুলিতে আরও বেশি সময় ব্যয় করে।

সর্বোত্তম ফলাফলের জন্য, একটি সাইটম্যাপ সহ robots.txt ব্যবহার করুন:

Robots.txt বটগুলিকে কী ক্রল বা এড়িয়ে যেতে হবে সে সম্পর্কে গাইড করে
সাইটম্যাপ আপনি ক্রল এবং ইনডেক্স করতে চান এমন পৃষ্ঠাগুলি তালিকাভুক্ত করে

Robots.txt নিয়ম আপনার জানা উচিত

একটি robots.txt ফাইল কয়েকটি সাধারণ নির্দেশাবলী ব্যবহার করে। এগুলি পড়া সহজ, তবে আপনাকে অবশ্যই এগুলি সাবধানে লিখতে হবে।

ব্যবহারকারী-এজেন্ট
নিয়মটি কোন বটে প্রযোজ্য তা সেট করে
অনুমতি নিন
একটি ফোল্ডার বা পথের জন্য হামাগুড়ি দেওয়া ব্লক
অনুমতি দিন
একটি অবরুদ্ধ ফোল্ডারের ভিতরে একটি নির্দিষ্ট পথ খোলে
ক্রল-বিলম্ব
কিছু বটের জন্য ধীর গতিতে হামাগুড়ি দেওয়ার অনুরোধ করে (সমস্ত বট এটি অনুসরণ করে না)

একটি ছোট ভুল কী বিভাগ বা মূল ল্যান্ডিং পৃষ্ঠাগুলি সহ গুরুত্বপূর্ণ পৃষ্ঠাগুলি ব্লক করতে পারে। এ কারণেই জেনারেটর ব্যবহার করা ম্যানুয়ালি সবকিছু লেখার চেয়ে নিরাপদ।

ওয়ার্ডপ্রেস সাইটগুলিতে কেন প্রায়শই Robots.txt প্রয়োজন

ওয়ার্ডপ্রেস অনেক ইউআরএল তৈরি করতে পারে যা এসইওকে সাহায্য করে না, যেমন ইন্টারনাল সার্চ পেজ, কিছু আর্কাইভ পেজ এবং প্যারামিটার ভিত্তিক ইউআরএল। স্বল্প-মূল্যের অঞ্চলগুলি ব্লক করা ক্রলারদের আপনার প্রধান পৃষ্ঠাগুলি, ব্লগ পোস্ট এবং পণ্য বা পরিষেবা পৃষ্ঠাগুলিতে আরও বেশি সময় ব্যয় করতে সহায়তা করে।

এমনকি ছোট সাইটগুলিতেও, একটি পরিষ্কার robots.txt ফাইল একটি স্মার্ট সেটআপ। সাইটটি বাড়ার সাথে সাথে এটি আপনার ক্রল নিয়মগুলি সংগঠিত রাখে।

Robots.txt এবং সাইটম্যাপের পার্থক্য

একটি সাইটম্যাপ সার্চ ইঞ্জিনগুলিকে আপনি যে পৃষ্ঠাগুলি ক্রল করতে চান তা আবিষ্কার করতে সহায়তা করে। বটগুলি কোথায় যেতে পারে তা Robots.txt নিয়ন্ত্রণ করে।

সাইটম্যাপ আবিষ্কারের উন্নতি করে
Robots.txt ক্রলিং অ্যাক্সেস নিয়ন্ত্রণ করে

বেশিরভাগ ওয়েবসাইট উভয়ই ব্যবহার করে উপকৃত হয়।

কিভাবে এই জেনারেটর ব্যবহার করে Robots.txt তৈরি করবেন

Robots.txt সহজ, কিন্তু ক্ষমাশীল নয়। একটি ভুল নিয়ম কী পৃষ্ঠাগুলি ব্লক করতে পারে। এই জেনারেটর আপনাকে নিরাপদে ফাইল তৈরি করতে সহায়তা করে।

ডিফল্ট অ্যাক্সেস সেট করুন

সমস্ত বট ডিফল্টরূপে আপনার সাইটকে ক্রল করতে পারে কিনা তা চয়ন করুন।

আপনার সাইটম্যাপ URL যোগ করুন

আপনার সাইটম্যাপ অন্তর্ভুক্ত করুন যাতে ক্রলাররা আপনার গুরুত্বপূর্ণ পৃষ্ঠাগুলি দ্রুত খুঁজে পেতে পারে।

অস্বীকৃত পথগুলি সাবধানে যোগ করুন

আপনি যা সত্যিই হামাগুড়ি দিতে চান না কেবল সেটাই ব্লক করুন। সর্বদা একটি ফরোয়ার্ড স্ল্যাশ দিয়ে শুরু করুন, যেমন:

/অ্যাডমিন/ অথবা /সার্চ/

প্রকাশের আগে পর্যালোচনা করুন

আপনি আপনার হোমপেজ, ব্লগ, বিভাগ পৃষ্ঠাগুলি বা প্রধান পরিষেবা পৃষ্ঠাগুলি অবরুদ্ধ করেন নি কিনা তা দুবার পরীক্ষা করুন।

সাম্প্রতিক অনুসন্ধানগুলি