common.you_need_to_be_loggedin_to_add_tool_in_favorites
Robots.txt ಜನರೇಟರ್ |
ಸಾಮಾನ್ಯ ನಿರ್ದೇಶನಗಳು
ಲೇಯರಿಂಗ್ ಓವರ್ರೈಡ್ಗಳ ಮೊದಲು ಎಲ್ಲಾ ಕ್ರಾಲರ್ಗಳಿಗೆ ಡೀಫಾಲ್ಟ್ ನಡವಳಿಕೆಯನ್ನು ಕಾನ್ಫಿಗರ್ ಮಾಡಿ.
ಬಳಕೆದಾರ-ಏಜೆಂಟ್ಗಾಗಿ ಜಾಗತಿಕ ಅನುಮತಿಸು ಅಥವಾ ನಿರ್ಬಂಧಿಸು ನಿಯಮವನ್ನು ಹೊಂದಿಸಿ: *.
ನಿಮ್ಮ ಸರ್ವರ್ಗೆ ಉಸಿರಾಡಲು ಸ್ಥಳ ಬೇಕಾದರೆ ಥ್ರೊಟಲ್ ಕ್ರಾಲರ್ಗಳು.
ಪ್ರತಿಬಿಂಬಿತ ಡೊಮೇನ್ಗಳಿಗಾಗಿ ಐಚ್ಛಿಕ ಹೋಸ್ಟ್ ನಿರ್ದೇಶನ.
ಪ್ರತಿ ಸಾಲಿಗೆ ಒಂದು ಮಾರ್ಗ. ವೈಲ್ಡ್ಕಾರ್ಡ್ಗಳು ಮತ್ತು ಟ್ರೇಲಿಂಗ್ ಸ್ಲ್ಯಾಶ್ಗಳನ್ನು ಬೆಂಬಲಿಸುತ್ತದೆ.
ಅಗಲವಾದ ಮಾರ್ಗಗಳು ನಿರ್ಬಂಧಿಸಲ್ಪಟ್ಟಿದ್ದರೂ ಸಹ ನಿರ್ದಿಷ್ಟ ಫೋಲ್ಡರ್ಗಳು ಕ್ರಾಲ್ ಆಗುವಂತೆ ನೋಡಿಕೊಳ್ಳಿ.
ಪ್ರತಿ ಸಾಲಿಗೆ ಒಂದು ಸೈಟ್ಮ್ಯಾಪ್ URL ಅನ್ನು ಒದಗಿಸಿ. ನೀವು ಹೆಚ್ಚುವರಿ ಸೈಟ್ಮ್ಯಾಪ್ ಸೂಚಿಕೆಗಳನ್ನು ಹೊಂದಿದ್ದರೆ ಅವುಗಳನ್ನು ಸೇರಿಸಿ.
ಸಾಮಾನ್ಯ ತೆವಳುವ ಹಕ್ಕಿಗಳು
ನೀವು ಸಂಪೂರ್ಣವಾಗಿ ನಿರ್ಬಂಧಿಸಲು ಬಯಸುವ ಕ್ರಾಲರ್ಗಳನ್ನು ಟಾಗಲ್ ಮಾಡಿ. ಮೇಲಿನ ಡೀಫಾಲ್ಟ್ ನಿಯಮವನ್ನು ಅವಲಂಬಿಸಲು ಅವರಿಗೆ ಅವಕಾಶ ನೀಡಿ.
ಕಸ್ಟಮ್ ನಿಯಮಗಳು
ಅನುಗುಣವಾದ ಅನುಮತಿಸುವ ಅಥವಾ ನಿರ್ಬಂಧಿಸುವ ನಿರ್ದೇಶನಗಳು, ಕ್ರಾಲ್ ವಿಳಂಬಗಳು ಮತ್ತು ಸೈಟ್ಮ್ಯಾಪ್ ಸುಳಿವುಗಳೊಂದಿಗೆ ಬಳಕೆದಾರ-ಏಜೆಂಟ್ಗಳನ್ನು ಸೇರಿಸಿ.
ಇನ್ನೂ ಯಾವುದೇ ಕಸ್ಟಮ್ ನಿಯಮಗಳಿಲ್ಲ. ಒಂದನ್ನು ರಚಿಸಲು ಮೇಲಿನ ಬಟನ್ ಬಳಸಿ.
ನಿಖರವಾದ ಅಥವಾ ವೈಲ್ಡ್ಕಾರ್ಡ್ ಬಳಕೆದಾರ-ಏಜೆಂಟ್ ಸ್ಟ್ರಿಂಗ್.
ಮೇಲೆ ರಚಿಸಲಾದ ಫೈಲ್ ಅನ್ನು ನಕಲಿಸಿ ಮತ್ತು ಅದನ್ನು ನಿಮ್ಮ ಡೊಮೇನ್ನ ಮೂಲಕ್ಕೆ robots.txt ಆಗಿ ಅಪ್ಲೋಡ್ ಮಾಡಿ.
ಉತ್ತಮ ಕ್ರಾಲಿಂಗ್ ಮತ್ತು ಇಂಡೆಕ್ಸಿಂಗ್ಗಾಗಿ Robots.txt ಜನರೇಟರ್
Robots.txt ಎಂಬುದು ನಿಮ್ಮ ಸೈಟ್ನಲ್ಲಿ ಹುಡುಕಾಟ ಬಾಟ್ಗಳಿಗೆ ಮಾರ್ಗದರ್ಶನ ನೀಡುವ ಸಣ್ಣ ಪಠ್ಯ ಫೈಲ್ ಆಗಿದೆ.
ನಿರ್ವಾಹಕ ಪುಟಗಳು, ಸ್ಟೇಜಿಂಗ್ ಫೋಲ್ಡರ್ಗಳು, ಪರೀಕ್ಷಾ URL ಗಳು, ಫಿಲ್ಟರ್ ಪುಟಗಳು ಮತ್ತು ನಕಲಿ ಮಾರ್ಗಗಳಂತಹ ಪ್ರದೇಶಗಳನ್ನು ನಿರ್ಬಂಧಿಸಲು robots.txt ಬಳಸಿ.
SEO ನಲ್ಲಿ Robots.txt ಎಂದರೆ ಏನು
Robots.txt ರೋಬೋಟ್ಗಳ ಹೊರಗಿಡುವ ಮಾನದಂಡದ ಭಾಗವಾಗಿದೆ.
yourdomain.com/robots.txt
ಸರ್ಚ್ ಇಂಜಿನ್ಗಳು ಆಗಾಗ್ಗೆ ಈ ಫೈಲ್ ಅನ್ನು ಮೊದಲೇ ಪರಿಶೀಲಿಸುತ್ತವೆ ಏಕೆಂದರೆ ಇದು ಅವರಿಗೆ ಸ್ಪಷ್ಟವಾದ ಕ್ರಾಲಿಂಗ್ ನಿರ್ದೇಶನಗಳನ್ನು ನೀಡುತ್ತದೆ.
ಒಂದು ಪ್ರಮುಖ ಅಂಶ:
- Robots.txt ನಿಯಂತ್ರಣಗಳು ಕ್ರಾಲ್ ಮಾಡುವಿಕೆ
- ಇದು ಇಂಡೆಕ್ಸಿಂಗ್ ಅನ್ನು ಖಾತರಿಪಡಿಸುವುದಿಲ್ಲ
ಹುಡುಕಾಟ ಫಲಿತಾಂಶಗಳಲ್ಲಿ ಪುಟವು ಕಾಣಿಸಿಕೊಳ್ಳಬಹುದು ಎಂದು ನೀವು ಖಚಿತಪಡಿಸಲು ಬಯಸಿದರೆ, ಇಂಡೆಕ್ಸಬಿಲಿಟಿ ಚೆಕ್ ಅನ್ನು ಬಳಸಿ.
ಏಕೆ Robots.txt ಕ್ರಾಲ್ ಬಜೆಟ್ಗೆ ಸಹಾಯ ಮಾಡುತ್ತದೆ
ಸರ್ಚ್ ಇಂಜಿನ್ಗಳು ಪ್ರತಿದಿನ ಪ್ರತಿ ಪುಟವನ್ನು ಕ್ರಾಲ್ ಮಾಡುವುದಿಲ್ಲ.
ನಿಮ್ಮ ಸೈಟ್ ನಿಧಾನವಾಗಿದ್ದರೆ ಅಥವಾ ದೋಷಗಳನ್ನು ಹಿಂತಿರುಗಿಸಿದರೆ, ಕ್ರಾಲರ್ಗಳು ಪ್ರತಿ ಓಟಕ್ಕೆ ಕಡಿಮೆ ಪುಟಗಳನ್ನು ಭೇಟಿ ಮಾಡಬಹುದು.
ಉತ್ತಮ ಫಲಿತಾಂಶಗಳಿಗಾಗಿ, ಸೈಟ್ಮ್ಯಾಪ್ನೊಂದಿಗೆ robots.txt ಬಳಸಿ:
- Robots.txt ಕ್ರಾಲ್ ಅಥವಾ ಸ್ಕಿಪ್ ಮಾಡಲು ಬಾಟ್ಗಳಿಗೆ ಮಾರ್ಗದರ್ಶನ ನೀಡುತ್ತದೆ
- ಸೈಟ್ಮ್ಯಾಪ್ ಪಟ್ಟಿಗಳು ನೀವು ಕ್ರಾಲ್ ಮಾಡಲು ಮತ್ತು ಇಂಡೆಕ್ಸ್ ಮಾಡಲು ಬಯಸುವ ಪುಟಗಳು
Robots.txt ನೀವು ತಿಳಿದಿರಬೇಕಾದ ನಿಯಮಗಳು
robots.txt ಫೈಲ್ ಕೆಲವು ಸರಳ ನಿರ್ದೇಶನಗಳನ್ನು ಬಳಸುತ್ತದೆ.
- ಬಳಕೆದಾರ ಏಜೆಂಟ್
- ಯಾವ ಬೋಟ್ಗೆ ನಿಯಮ ಅನ್ವಯಿಸುತ್ತದೆ ಎಂಬುದನ್ನು ಹೊಂದಿಸುತ್ತದೆ
- ಅನುಮತಿಸಬೇಡಿ
- ಫೋಲ್ಡರ್ ಅಥವಾ ಮಾರ್ಗಕ್ಕಾಗಿ ಕ್ರಾಲ್ ಮಾಡುವುದನ್ನು ನಿರ್ಬಂಧಿಸುತ್ತದೆ
- ಅನುಮತಿಸಿ
- ನಿರ್ಬಂಧಿಸಲಾದ ಫೋಲ್ಡರ್ನಲ್ಲಿ ನಿರ್ದಿಷ್ಟ ಮಾರ್ಗವನ್ನು ತೆರೆಯುತ್ತದೆ
- ಕ್ರಾಲ್-ವಿಳಂಬ
- ಕೆಲವು ಬಾಟ್ಗಳಿಗಾಗಿ ನಿಧಾನವಾಗಿ ಕ್ರಾಲ್ ಮಾಡಲು ವಿನಂತಿಸುತ್ತದೆ (ಎಲ್ಲಾ ಬಾಟ್ಗಳು ಇದನ್ನು ಅನುಸರಿಸುವುದಿಲ್ಲ)
ಒಂದು ಸಣ್ಣ ತಪ್ಪು ಪ್ರಮುಖ ವಿಭಾಗಗಳು ಅಥವಾ ಪ್ರಮುಖ ಲ್ಯಾಂಡಿಂಗ್ ಪುಟಗಳು ಸೇರಿದಂತೆ ಪ್ರಮುಖ ಪುಟಗಳನ್ನು ನಿರ್ಬಂಧಿಸಬಹುದು.
ವರ್ಡ್ಪ್ರೆಸ್ ಸೈಟ್ಗಳಿಗೆ ಆಗಾಗ್ಗೆ Robots.txt ಏಕೆ ಬೇಕು
ಆಂತರಿಕ ಹುಡುಕಾಟ ಪುಟಗಳು, ಕೆಲವು ಆರ್ಕೈವ್ ಪುಟಗಳು ಮತ್ತು ಪ್ಯಾರಾಮೀಟರ್ ಆಧಾರಿತ URL ಗಳಂತಹ ಎಸ್ಇಒಗೆ ಸಹಾಯ ಮಾಡದ ಅನೇಕ URL ಗಳನ್ನು WordPress ರಚಿಸಬಹುದು.
ಚಿಕ್ಕ ಸೈಟ್ಗಳಲ್ಲಿಯೂ ಸಹ, ಕ್ಲೀನ್ robots.txt ಫೈಲ್ ಸ್ಮಾರ್ಟ್ ಸೆಟಪ್ ಆಗಿದೆ.
Robots.txt ಮತ್ತು ಸೈಟ್ಮ್ಯಾಪ್ ವ್ಯತ್ಯಾಸ
ನೀವು ಕ್ರಾಲ್ ಮಾಡಲು ಬಯಸುವ ಪುಟಗಳನ್ನು ಹುಡುಕಲು ಹುಡುಕಾಟ ಎಂಜಿನ್ಗಳಿಗೆ ಸೈಟ್ಮ್ಯಾಪ್ ಸಹಾಯ ಮಾಡುತ್ತದೆ.
- ಸೈಟ್ಮ್ಯಾಪ್ ಅನ್ವೇಷಣೆಯನ್ನು ಸುಧಾರಿಸುತ್ತದೆ
- Robots.txt ಕ್ರಾಲಿಂಗ್ ಪ್ರವೇಶವನ್ನು ನಿಯಂತ್ರಿಸುತ್ತದೆ
ಎರಡನ್ನೂ ಬಳಸುವುದರಿಂದ ಹೆಚ್ಚಿನ ವೆಬ್ಸೈಟ್ಗಳು ಪ್ರಯೋಜನ ಪಡೆಯುತ್ತವೆ.
ಈ ಜನರೇಟರ್ ಅನ್ನು ಬಳಸಿಕೊಂಡು Robots.txt ಅನ್ನು ಹೇಗೆ ರಚಿಸುವುದು
Robots.txt ಸರಳವಾಗಿದೆ, ಆದರೆ ಇದು ಕ್ಷಮಿಸುವುದಿಲ್ಲ.
ಡೀಫಾಲ್ಟ್ ಪ್ರವೇಶವನ್ನು ಹೊಂದಿಸಿ
ಎಲ್ಲಾ ಬಾಟ್ಗಳು ನಿಮ್ಮ ಸೈಟ್ ಅನ್ನು ಡಿಫಾಲ್ಟ್ ಆಗಿ ಕ್ರಾಲ್ ಮಾಡಬಹುದೇ ಎಂಬುದನ್ನು ಆರಿಸಿ.
ನಿಮ್ಮ ಸೈಟ್ಮ್ಯಾಪ್ URL ಅನ್ನು ಸೇರಿಸಿ
ನಿಮ್ಮ ಸೈಟ್ಮ್ಯಾಪ್ ಅನ್ನು ಸೇರಿಸಿ ಇದರಿಂದ ಕ್ರಾಲರ್ಗಳು ನಿಮ್ಮ ಪ್ರಮುಖ ಪುಟಗಳನ್ನು ವೇಗವಾಗಿ ಹುಡುಕಬಹುದು.
ಅನುಮತಿಯಿಲ್ಲದ ಮಾರ್ಗಗಳನ್ನು ಎಚ್ಚರಿಕೆಯಿಂದ ಸೇರಿಸಿ
ನೀವು ನಿಜವಾಗಿಯೂ ಕ್ರಾಲ್ ಮಾಡಲು ಬಯಸದಿದ್ದನ್ನು ಮಾತ್ರ ನಿರ್ಬಂಧಿಸಿ.
/admin/ ಅಥವಾ /search/
ಪ್ರಕಟಿಸುವ ಮೊದಲು ಪರಿಶೀಲಿಸಿ
ನಿಮ್ಮ ಮುಖಪುಟ, ಬ್ಲಾಗ್, ವರ್ಗ ಪುಟಗಳು ಅಥವಾ ಮುಖ್ಯ ಸೇವಾ ಪುಟಗಳನ್ನು ನೀವು ನಿರ್ಬಂಧಿಸಿಲ್ಲ ಎಂದು ಎರಡು ಬಾರಿ ಪರಿಶೀಲಿಸಿ.
Robots.txt ಜೊತೆಗೆ ಉತ್ತಮವಾಗಿ ಕಾರ್ಯನಿರ್ವಹಿಸುವ ಸಂಬಂಧಿತ SEO ಪರಿಕರಗಳು
Robots.txt ತಾಂತ್ರಿಕ SEO ನ ಒಂದು ಭಾಗವಾಗಿದೆ.
- ಸೈಟ್ಮ್ಯಾಪ್ ಪರಿಶೀಲಕ: ನಿಮ್ಮ ಸೈಟ್ಮ್ಯಾಪ್ ಮಾನ್ಯವಾಗಿದೆ ಮತ್ತು ಬಾಟ್ಗಳಿಗೆ ಓದಲು ಸುಲಭವಾಗಿದೆ ಎಂದು ಖಚಿತಪಡಿಸುತ್ತದೆ.
- Google ಇಂಡೆಕ್ಸ್ ಪರಿಶೀಲಕ: ಪುಟವನ್ನು ಇಂಡೆಕ್ಸ್ ಮಾಡಬಹುದೇ ಎಂದು ಪರಿಶೀಲಿಸುತ್ತದೆ ಮತ್ತು noindex ನಂತಹ ಸಾಮಾನ್ಯ ಬ್ಲಾಕರ್ಗಳನ್ನು ಫ್ಲ್ಯಾಗ್ ಮಾಡುತ್ತದೆ.
- HTTP ಸ್ಥಿತಿ ಕೋಡ್ ಪರಿಶೀಲಿಸಿ: 200, 301, 404 ಮತ್ತು ಸರ್ವರ್ ದೋಷಗಳು ಕ್ರಾಲ್ ಮಾಡುವುದನ್ನು ನಿಧಾನಗೊಳಿಸಬಹುದು.
- ಉಚಿತ ಮರುನಿರ್ದೇಶನ ಪರೀಕ್ಷಕ: ಮರುನಿರ್ದೇಶನಗಳು ಸ್ವಚ್ಛವಾಗಿವೆ ಮತ್ತು ಸರಪಳಿಗಳು ಅಥವಾ ಲೂಪ್ಗಳಲ್ಲಿ ಸಿಲುಕಿಕೊಂಡಿಲ್ಲ ಎಂದು ಖಚಿತಪಡಿಸುತ್ತದೆ.
- ಮೆಟಾ ಟ್ಯಾಗ್ಗಳ ವಿಶ್ಲೇಷಣೆ: ಎಸ್ಇಒ ತಪ್ಪುಗಳಿಗಾಗಿ ಶೀರ್ಷಿಕೆಗಳು, ವಿವರಣೆಗಳು ಮತ್ತು ರೋಬೋಟ್ಗಳ ಮೆಟಾ ಟ್ಯಾಗ್ಗಳನ್ನು ಪರಿಶೀಲಿಸುತ್ತದೆ.