Robots.txt జనరేటర్ |
సాధారణ ఆదేశాలు
లేయరింగ్ ఓవర్రైడ్ అయ్యే ముందు అన్ని క్రాలర్ల కోసం డిఫాల్ట్ ప్రవర్తనను కాన్ఫిగర్ చేయండి.
యూజర్-ఏజెంట్ కోసం గ్లోబల్ అనుమతి లేదా బ్లాక్ నియమాన్ని సెట్ చేయండి: *.
మీ సర్వర్కు శ్వాస తీసుకోవడానికి స్థలం అవసరమైతే థ్రాటిల్ క్రాలర్లను ఉపయోగించండి.
మిర్రర్డ్ డొమైన్ల కోసం ఐచ్ఛిక హోస్ట్ డైరెక్టివ్.
ఒక లైన్కు ఒక పాత్. వైల్డ్కార్డ్లు మరియు ట్రెయిలింగ్ స్లాష్లకు మద్దతు ఇస్తుంది.
విస్తృత మార్గాలు నిరోధించబడినప్పటికీ నిర్దిష్ట ఫోల్డర్లు క్రాల్ చేయగలిగేలా చూసుకోండి.
ప్రతి లైన్కు ఒక సైట్మ్యాప్ URL ని అందించండి. మీ దగ్గర అదనపు సైట్మ్యాప్ సూచికలు ఉంటే వాటిని జోడించండి.
సాధారణ క్రాలర్లు
మీరు పూర్తిగా బ్లాక్ చేయాలనుకుంటున్న క్రాలర్లను టోగుల్ చేయండి. పైన ఉన్న డిఫాల్ట్ నియమంపై ఆధారపడటానికి వారిని అనుమతించండి.
కస్టమ్ నియమాలు
అనుకూలీకరించిన అనుమతి లేదా బ్లాక్ ఆదేశాలు, క్రాల్ ఆలస్యం మరియు సైట్మ్యాప్ సూచనలతో వినియోగదారు-ఏజెంట్లను జోడించండి.
ఇంకా కస్టమ్ నియమాలు లేవు. ఒకటి సృష్టించడానికి పైన ఉన్న బటన్ను ఉపయోగించండి.
ఖచ్చితమైన లేదా వైల్డ్కార్డ్ యూజర్-ఏజెంట్ స్ట్రింగ్.
పైన జనరేట్ చేయబడిన ఫైల్ను కాపీ చేసి, దానిని మీ డొమైన్ రూట్కి robots.txtగా అప్లోడ్ చేయండి.
మెరుగైన క్రాలింగ్ మరియు ఇండెక్సింగ్ కోసం Robots.txt జనరేటర్
Robots.txt అనేది మీ సైట్లోని శోధన బాట్లకు మార్గనిర్దేశం చేసే చిన్న టెక్స్ట్ ఫైల్.
అడ్మిన్ పేజీలు, స్టేజింగ్ ఫోల్డర్లు, టెస్ట్ URLలు, ఫిల్టర్ పేజీలు మరియు డూప్లికేట్ పాత్ల వంటి ప్రాంతాలను బ్లాక్ చేయడానికి robots.txtని ఉపయోగించండి.
SEOలో Robots.txt అంటే ఏమిటి
Robots.txt అనేది రోబోట్ల మినహాయింపు ప్రమాణంలో భాగం.
yourdomain.com/robots.txt
శోధన ఇంజిన్లు తరచుగా ఈ ఫైల్ను ముందుగానే తనిఖీ చేస్తాయి ఎందుకంటే ఇది వారికి స్పష్టమైన క్రాలింగ్ దిశలను ఇస్తుంది.
ఒక ముఖ్యమైన అంశం:
- Robots.txt క్రాలింగ్ని నియంత్రిస్తుంది
- ఇది ఇండెక్సింగ్కి హామీ ఇవ్వదు
శోధన ఫలితాల్లో పేజీ కనిపించవచ్చని మీరు నిర్ధారించాలనుకుంటే, ఇండెక్సబిలిటీ తనిఖీని ఉపయోగించండి.
Robots.txt క్రాల్ బడ్జెట్తో ఎందుకు సహాయపడుతుంది
శోధన ఇంజిన్లు ప్రతిరోజూ ప్రతి పేజీని క్రాల్ చేయవు.
మీ సైట్ నెమ్మదిగా ఉన్నట్లయితే లేదా లోపాలను అందించినట్లయితే, క్రాలర్లు ఒక్కో పరుగుకు తక్కువ పేజీలను సందర్శించవచ్చు.
ఉత్తమ ఫలితాల కోసం, సైట్మ్యాప్తో robots.txtని ఉపయోగించండి:
- Robots.txt ఏమి క్రాల్ చేయాలి లేదా దాటవేయాలి అనే దానిపై బాట్లకు మార్గనిర్దేశం చేస్తుంది
- సైట్మ్యాప్ జాబితాలు మీరు క్రాల్ చేసి ఇండెక్స్ చేయాలనుకుంటున్న పేజీలు
Robots.txt మీరు తెలుసుకోవలసిన నియమాలు
robots.txt ఫైల్ కొన్ని సాధారణ ఆదేశాలను ఉపయోగిస్తుంది.
- యూజర్ ఏజెంట్
- నియమం వర్తించే బాట్కు సెట్ చేస్తుంది
- అనుమతించవద్దు
- ఫోల్డర్ లేదా పాత్ కోసం క్రాల్ చేయడాన్ని బ్లాక్ చేస్తుంది
- అనుమతించు
- బ్లాక్ చేయబడిన ఫోల్డర్ లోపల నిర్దిష్ట మార్గాన్ని తెరుస్తుంది
- క్రాల్-ఆలస్యం
- కొన్ని బాట్ల కోసం నెమ్మదిగా క్రాల్ చేయడానికి అభ్యర్థిస్తుంది (అన్ని బాట్లు దీన్ని అనుసరించవు)
ఒక చిన్న పొరపాటు కీ కేటగిరీలు లేదా కోర్ ల్యాండింగ్ పేజీలతో సహా ముఖ్యమైన పేజీలను బ్లాక్ చేయవచ్చు.
WordPress సైట్లకు తరచుగా Robots.txt ఎందుకు అవసరం
WordPress అంతర్గత శోధన పేజీలు, కొన్ని ఆర్కైవ్ పేజీలు మరియు పారామీటర్ ఆధారిత URLలు వంటి SEOకి సహాయం చేయని అనేక URLలను సృష్టించగలదు.
చిన్న సైట్లలో కూడా, శుభ్రమైన robots.txt ఫైల్ స్మార్ట్ సెటప్.
Robots.txt మరియు సైట్మ్యాప్ తేడా
మీరు క్రాల్ చేయాలనుకుంటున్న పేజీలను కనుగొనడంలో శోధన ఇంజిన్లకు సైట్మ్యాప్ సహాయపడుతుంది.
- సైట్మ్యాప్ ఆవిష్కరణను మెరుగుపరుస్తుంది
- Robots.txt క్రాలింగ్ యాక్సెస్ని నియంత్రిస్తుంది
చాలా వెబ్సైట్లు రెండింటినీ ఉపయోగించడం ద్వారా ప్రయోజనం పొందుతాయి.
ఈ జనరేటర్ని ఉపయోగించి Robots.txtని ఎలా సృష్టించాలి
Robots.txt చాలా సులభం, కానీ అది క్షమించదు.
డిఫాల్ట్ యాక్సెస్ని సెట్ చేయండి
అన్ని బాట్లు డిఫాల్ట్గా మీ సైట్ని క్రాల్ చేయగలవో లేదో ఎంచుకోండి.
మీ సైట్మ్యాప్ URLని జోడించండి
మీ సైట్మ్యాప్ను చేర్చండి, తద్వారా క్రాలర్లు మీ ముఖ్యమైన పేజీలను వేగంగా కనుగొనగలరు.
అనుమతించని మార్గాలను జాగ్రత్తగా జోడించండి
మీరు నిజంగా క్రాల్ చేయకూడదనుకునే వాటిని మాత్రమే బ్లాక్ చేయండి.
/admin/ లేదా /search/
ప్రచురించే ముందు సమీక్షించండి
మీరు మీ హోమ్పేజీ, బ్లాగ్, వర్గం పేజీలు లేదా ప్రధాన సేవా పేజీలను బ్లాక్ చేయలేదని రెండుసార్లు తనిఖీ చేయండి.
Robots.txtతో బాగా పని చేసే సంబంధిత SEO సాధనాలు
Robots.txt అనేది సాంకేతిక SEOలో ఒక భాగం.
- సైట్మ్యాప్ చెకర్: మీ సైట్మ్యాప్ చెల్లుబాటు అయ్యేది మరియు బాట్లు చదవడం సులభం అని నిర్ధారిస్తుంది.
- Google ఇండెక్స్ చెకర్: పేజీని ఇండెక్స్ చేయవచ్చో లేదో ధృవీకరిస్తుంది మరియు noindex వంటి సాధారణ బ్లాకర్లను ఫ్లాగ్ చేస్తుంది.
- HTTP స్థితి కోడ్ని తనిఖీ చేయండి: క్రాలింగ్ను నెమ్మదింపజేసే 200, 301, 404 మరియు సర్వర్ లోపాలను కనుగొంటుంది.
- ఉచిత దారి మళ్లింపు చెకర్: దారి మళ్లింపులు శుభ్రంగా ఉన్నాయని మరియు గొలుసులు లేదా లూప్లలో చిక్కుకోలేదని నిర్ధారిస్తుంది.
- మెటా ట్యాగ్ల విశ్లేషణ: SEO తప్పుల కోసం శీర్షికలు, వివరణలు మరియు రోబోట్ల మెటా ట్యాగ్లను సమీక్షిస్తుంది.