Robots.txt ಜನರೇಟರ್ |

Robots.txt ಉತ್ತಮ ಕ್ರಾಲಿಂಗ್ ಮತ್ತು ಸೂಚ್ಯಂಕಕ್ಕಾಗಿ ಜನರೇಟರ್

Robots.txt ನಿಮ್ಮ ಸೈಟ್ನಲ್ಲಿ ಹುಡುಕಾಟ ಬಾಟ್ಗಳಿಗೆ ಮಾರ್ಗದರ್ಶನ ನೀಡುವ ಸಣ್ಣ ಪಠ್ಯ ಫೈಲ್ ಆಗಿದೆ. ಇದು ಕ್ರಾಲರ್ ಗಳಿಗೆ ಅವರು ಯಾವ ಪ್ರದೇಶಗಳನ್ನು ಪ್ರವೇಶಿಸಬಹುದು ಮತ್ತು ಯಾವ ಮಾರ್ಗಗಳನ್ನು ತಪ್ಪಿಸಬೇಕು ಎಂದು ಹೇಳುತ್ತದೆ. ಇದು ಮುಖ್ಯವಾದ ಪುಟಗಳ ಮೇಲೆ ಕೇಂದ್ರೀಕರಿಸುತ್ತದೆ ಮತ್ತು ಕಡಿಮೆ-ಮೌಲ್ಯದ URL ಗಳಲ್ಲಿ ವ್ಯರ್ಥ ಭೇಟಿಗಳನ್ನು ಕಡಿಮೆ ಮಾಡುತ್ತದೆ.

ನಿರ್ವಾಹಕ ಪುಟಗಳು, ಸ್ಟೇಜಿಂಗ್ ಫೋಲ್ಡರ್ ಗಳು, ಪರೀಕ್ಷಾ URL ಗಳು, ಫಿಲ್ಟರ್ ಪುಟಗಳು ಮತ್ತು ನಕಲಿ ಮಾರ್ಗಗಳಂತಹ ಪ್ರದೇಶಗಳನ್ನು ನಿರ್ಬಂಧಿಸಲು robots.txt ಬಳಸಿ. ನಿಮ್ಮ ನಿಯಮಗಳು ಸ್ಪಷ್ಟವಾದಾಗ, ಸರ್ಚ್ ಇಂಜಿನ್ಗಳು ನಿಮ್ಮ ಪ್ರಮುಖ ಪುಟಗಳಲ್ಲಿ ಹೆಚ್ಚಿನ ಸಮಯವನ್ನು ಕಳೆಯುತ್ತವೆ. ಅದು ಹೊಸ ವಿಷಯವನ್ನು ವೇಗವಾಗಿ ಕಂಡುಹಿಡಿಯಲು ಮತ್ತು ತೆವಳುವುದನ್ನು ಸ್ವಚ್ಛವಾಗಿ ಮತ್ತು ಊಹಿಸುವಂತೆ ಮಾಡಲು ಸಹಾಯ ಮಾಡುತ್ತದೆ.

ಎಸ್ಇಒನಲ್ಲಿ Robots.txt ಅರ್ಥವೇನು?

Robots.txt ರೋಬೋಟ್ ಗಳ ಹೊರಗಿಡುವಿಕೆ ಮಾನದಂಡದ ಭಾಗವಾಗಿದೆ. ನೀವು ಅದನ್ನು ಇಲ್ಲಿ ಇರಿಸಿ:

yourdomain.com/robots.txt

ಸರ್ಚ್ ಇಂಜಿನ್ ಗಳು ಈ ಫೈಲ್ ಅನ್ನು ಮೊದಲೇ ಪರಿಶೀಲಿಸುತ್ತವೆ ಏಕೆಂದರೆ ಅದು ಸ್ಪಷ್ಟ ತೆವಳುವ ನಿರ್ದೇಶನಗಳನ್ನು ನೀಡುತ್ತದೆ. ನಿಮ್ಮ ಸೈಟ್ ಚಿಕ್ಕದಾಗಿದ್ದರೆ, ಅದು ಇನ್ನೂ robots.txt ಫೈಲ್ ಇಲ್ಲದೆ ಸೂಚ್ಯಂಕವನ್ನು ಪಡೆಯಬಹುದು. ಆದರೆ ದೊಡ್ಡ ಸೈಟ್ ಗಳಲ್ಲಿ, ತಪ್ಪಿಸಿಕೊಂಡ ಮಾರ್ಗದರ್ಶನವು ವ್ಯರ್ಥ ತೆವಳುವಿಕೆ ಮತ್ತು ಪ್ರಮುಖ ಪುಟಗಳ ನಿಧಾನಗತಿಯ ಆವಿಷ್ಕಾರಕ್ಕೆ ಕಾರಣವಾಗಬಹುದು.

ಒಂದು ಪ್ರಮುಖ ಅಂಶ:

• Robots.txt ತೆವಳುವುದನ್ನು ನಿಯಂತ್ರಿಸುತ್ತದೆ
• ಇದು ಸೂಚ್ಯಂಕವನ್ನು ಖಾತರಿಪಡಿಸುವುದಿಲ್ಲ

ಶೋಧ ಫಲಿತಾಂಶಗಳಲ್ಲಿ ಪುಟವು ಕಾಣಿಸಿಕೊಳ್ಳಬಹುದು ಎಂದು ನೀವು ದೃಢೀಕರಿಸಲು ಬಯಸಿದರೆ, ಸೂಚ್ಯಂಕ ಪರಿಶೀಲನೆಯನ್ನು ಬಳಸಿ. ನೋಇಂಡೆಕ್ಸ್, ನಿರ್ಬಂಧಿತ ಸಂಪನ್ಮೂಲಗಳು ಅಥವಾ robots.txt ಒಳಗೊಳ್ಳದ ಇತರ ಸಮಸ್ಯೆಗಳಂತಹ ಸಂಕೇತಗಳನ್ನು ಗುರುತಿಸಲು ಇದು ನಿಮಗೆ ಸಹಾಯ ಮಾಡುತ್ತದೆ.

ಕ್ರಾಲ್ ಬಜೆಟ್ ಗೆ Robots.txt ಏಕೆ ಸಹಾಯ ಮಾಡುತ್ತದೆ

ಸರ್ಚ್ ಇಂಜಿನ್ ಗಳು ಪ್ರತಿ ಪುಟವನ್ನು ಪ್ರತಿದಿನ ಕ್ರಾಲ್ ಮಾಡುವುದಿಲ್ಲ. ಸೈಟ್ ವೇಗ, ಸರ್ವರ್ ಆರೋಗ್ಯ ಮತ್ತು ನಿಮ್ಮ ವಿಷಯವು ಎಷ್ಟು ಬಾರಿ ಬದಲಾಗುತ್ತದೆ ಎಂಬಂತಹ ಮಿತಿಗಳು ಮತ್ತು ಸಂಕೇತಗಳ ಆಧಾರದ ಮೇಲೆ ಅವು ಕ್ರಾಲ್ ಮಾಡುತ್ತವೆ.

ನಿಮ್ಮ ಸೈಟ್ ನಿಧಾನವಾಗಿದ್ದರೆ ಅಥವಾ ದೋಷಗಳನ್ನು ಹಿಂದಿರುಗಿಸಿದರೆ, ಕ್ರಾಲರ್ ಗಳು ಪ್ರತಿ ಓಟಕ್ಕೆ ಕಡಿಮೆ ಪುಟಗಳಿಗೆ ಭೇಟಿ ನೀಡಬಹುದು. ಅದು ಹೊಸ ಪೋಸ್ಟ್ ಗಳು ಮತ್ತು ನವೀಕರಿಸಿದ ಪುಟಗಳಿಗೆ ಸೂಚ್ಯಂಕವನ್ನು ವಿಳಂಬಗೊಳಿಸಬಹುದು. ವ್ಯರ್ಥವಾದ ಕ್ರಾಲ್ ಗಳನ್ನು ಕಡಿಮೆ ಮಾಡುವ ಮೂಲಕ Robots.txt ಸಹಾಯ ಮಾಡುತ್ತದೆ, ಆದ್ದರಿಂದ ಬಾಟ್ ಗಳು ನೀವು ನಿಜವಾಗಿಯೂ ಗಮನಹರಿಸಲು ಬಯಸುವ ಪುಟಗಳಲ್ಲಿ ಹೆಚ್ಚು ಸಮಯವನ್ನು ಕಳೆಯುತ್ತವೆ.

ಉತ್ತಮ ಫಲಿತಾಂಶಗಳಿಗಾಗಿ, ಸೈಟ್ಮ್ಯಾಪ್ನೊಂದಿಗೆ robots.txt ಬಳಸಿ:

• ಏನು ಕ್ರಾಲ್ ಮಾಡಬೇಕು ಅಥವಾ ಬಿಟ್ಟುಬಿಡಬೇಕು ಎಂಬುದರ ಕುರಿತು Robots.txt ಬಾಟ್ ಗಳಿಗೆ ಮಾರ್ಗದರ್ಶನ ನೀಡುತ್ತದೆ
• ಸೈಟ್ಮ್ಯಾಪ್ ನೀವು ತೆವಳಲು ಮತ್ತು ಸೂಚ್ಯಂಕ ಮಾಡಲು ಬಯಸುವ ಪುಟಗಳನ್ನು ಪಟ್ಟಿ ಮಾಡುತ್ತದೆ

ನೀವು ತಿಳಿದುಕೊಳ್ಳಬೇಕಾದ Robots.txt ನಿಯಮಗಳು

robots.txt ಫೈಲ್ ಕೆಲವು ಸರಳ ನಿರ್ದೇಶನಗಳನ್ನು ಬಳಸುತ್ತದೆ. ಅವುಗಳನ್ನು ಓದಲು ಸುಲಭ, ಆದರೆ ನೀವು ಅವುಗಳನ್ನು ಎಚ್ಚರಿಕೆಯಿಂದ ಬರೆಯಬೇಕು.

• ಬಳಕೆದಾರ-ಏಜೆಂಟ್
• ನಿಯಮವು ಯಾವ ಬೋಟ್ ಗೆ ಅನ್ವಯಿಸುತ್ತದೆ ಎಂಬುದನ್ನು ಸೆಟ್ ಮಾಡುತ್ತದೆ
• ಅನುಮತಿಸುವುದಿಲ್ಲ
• ಫೋಲ್ಡರ್ ಅಥವಾ ಪಥಕ್ಕಾಗಿ ತೆವಳುವ ನಿರ್ಬಂಧಗಳು
• ಅನುಮತಿಸು
• ನಿರ್ಬಂಧಿತ ಫೋಲ್ಡರ್ ಒಳಗೆ ನಿರ್ದಿಷ್ಟ ಮಾರ್ಗವನ್ನು ತೆರೆಯುತ್ತದೆ
• ಕ್ರಾಲ್-ವಿಳಂಬ
• ಕೆಲವು ಬಾಟ್ ಗಳಿಗೆ ನಿಧಾನವಾಗಿ ತೆವಳಲು ವಿನಂತಿಸುತ್ತದೆ (ಎಲ್ಲಾ ಬಾಟ್ ಗಳು ಅದನ್ನು ಅನುಸರಿಸುವುದಿಲ್ಲ)

ಒಂದು ಸಣ್ಣ ತಪ್ಪು ಪ್ರಮುಖ ವರ್ಗಗಳು ಅಥವಾ ಕೋರ್ ಲ್ಯಾಂಡಿಂಗ್ ಪುಟಗಳನ್ನು ಒಳಗೊಂಡಂತೆ ಪ್ರಮುಖ ಪುಟಗಳನ್ನು ನಿರ್ಬಂಧಿಸಬಹುದು. ಅದಕ್ಕಾಗಿಯೇ ಎಲ್ಲವನ್ನೂ ಹಸ್ತಚಾಲಿತವಾಗಿ ಬರೆಯುವುದಕ್ಕಿಂತ ಜನರೇಟರ್ ಅನ್ನು ಬಳಸುವುದು ಸುರಕ್ಷಿತವಾಗಿದೆ.

ವರ್ಡ್ಪ್ರೆಸ್ ಸೈಟ್ಗಳಿಗೆ ಆಗಾಗ್ಗೆ Robots.txt ಏಕೆ ಬೇಕು

ಆಂತರಿಕ ಹುಡುಕಾಟ ಪುಟಗಳು, ಕೆಲವು ಆರ್ಕೈವ್ ಪುಟಗಳು ಮತ್ತು ನಿಯತಾಂಕ ಆಧಾರಿತ URL ಗಳಂತಹ ಎಸ್ ಇಒಗೆ ಸಹಾಯ ಮಾಡದ ಅನೇಕ URL ಗಳನ್ನು ವರ್ಡ್ಪ್ರೆಸ್ ರಚಿಸಬಹುದು. ಕಡಿಮೆ-ಮೌಲ್ಯದ ಪ್ರದೇಶಗಳನ್ನು ನಿರ್ಬಂಧಿಸುವುದು ಕ್ರಾಲರ್ ಗಳು ನಿಮ್ಮ ಮುಖ್ಯ ಪುಟಗಳು, ಬ್ಲಾಗ್ ಪೋಸ್ಟ್ ಗಳು ಮತ್ತು ಉತ್ಪನ್ನ ಅಥವಾ ಸೇವಾ ಪುಟಗಳಲ್ಲಿ ಹೆಚ್ಚಿನ ಸಮಯವನ್ನು ಕಳೆಯಲು ಸಹಾಯ ಮಾಡುತ್ತದೆ.

ಸಣ್ಣ ಸೈಟ್ಗಳಲ್ಲಿ ಸಹ, ಕ್ಲೀನ್ robots.txt ಫೈಲ್ ಸ್ಮಾರ್ಟ್ ಸೆಟಪ್ ಆಗಿದೆ. ಸೈಟ್ ಬೆಳೆಯುತ್ತಿದ್ದಂತೆ ಇದು ನಿಮ್ಮ ಕ್ರಾಲ್ ನಿಯಮಗಳನ್ನು ಆಯೋಜಿಸುತ್ತದೆ.

Robots.txt ಮತ್ತು ಸೈಟ್ಮ್ಯಾಪ್ ವ್ಯತ್ಯಾಸ

ಸೈಟ್ಮ್ಯಾಪ್ ಸರ್ಚ್ ಇಂಜಿನ್ಗಳಿಗೆ ನೀವು ಕ್ರಾಲ್ ಮಾಡಲು ಬಯಸುವ ಪುಟಗಳನ್ನು ಕಂಡುಹಿಡಿಯಲು ಸಹಾಯ ಮಾಡುತ್ತದೆ. ಬಾಟ್ ಗಳು ಎಲ್ಲಿಗೆ ಹೋಗಬಹುದು ಎಂಬುದನ್ನು Robots.txt ನಿಯಂತ್ರಿಸುತ್ತದೆ.

• ಸೈಟ್ಮ್ಯಾಪ್ ಆವಿಷ್ಕಾರವನ್ನು ಸುಧಾರಿಸುತ್ತದೆ
• Robots.txt ಕ್ರಾಲಿಂಗ್ ಪ್ರವೇಶವನ್ನು ನಿಯಂತ್ರಿಸುತ್ತದೆ

ಹೆಚ್ಚಿನ ವೆಬ್ಸೈಟ್ಗಳು ಎರಡನ್ನೂ ಬಳಸುವುದರಿಂದ ಪ್ರಯೋಜನ ಪಡೆಯುತ್ತವೆ.

ಈ ಜನರೇಟರ್ ಬಳಸಿ Robots.txt ಅನ್ನು ಹೇಗೆ ರಚಿಸುವುದು?

Robots.txt ಸರಳವಾಗಿದೆ, ಆದರೆ ಅದು ಕ್ಷಮಿಸುವುದಿಲ್ಲ. ಒಂದು ತಪ್ಪು ನಿಯಮವು ಪ್ರಮುಖ ಪುಟಗಳನ್ನು ನಿರ್ಬಂಧಿಸಬಹುದು. ಈ ಜನರೇಟರ್ ನಿಮಗೆ ಫೈಲ್ ಅನ್ನು ಸುರಕ್ಷಿತವಾಗಿ ನಿರ್ಮಿಸಲು ಸಹಾಯ ಮಾಡುತ್ತದೆ.

ಡೀಫಾಲ್ಟ್ ಪ್ರವೇಶವನ್ನು ಹೊಂದಿಸಿ

ಎಲ್ಲಾ ಬಾಟ್ ಗಳು ನಿಮ್ಮ ಸೈಟ್ ಅನ್ನು ಪೂರ್ವನಿಯೋಜಿತವಾಗಿ ಕ್ರಾಲ್ ಮಾಡಬಹುದೇ ಎಂದು ಆರಿಸಿ.

ನಿಮ್ಮ ಸೈಟ್ಮ್ಯಾಪ್ URL ಸೇರಿಸಿ

ನಿಮ್ಮ ಸೈಟ್ಮ್ಯಾಪ್ ಅನ್ನು ಸೇರಿಸಿ ಇದರಿಂದ ಕ್ರಾಲರ್ಗಳು ನಿಮ್ಮ ಪ್ರಮುಖ ಪುಟಗಳನ್ನು ವೇಗವಾಗಿ ಕಂಡುಹಿಡಿಯಬಹುದು.

ಅನುಮತಿಸದ ಮಾರ್ಗಗಳನ್ನು ಎಚ್ಚರಿಕೆಯಿಂದ ಸೇರಿಸಿ

ನೀವು ನಿಜವಾಗಿಯೂ ತೆವಳಲು ಬಯಸದಿರುವುದನ್ನು ಮಾತ್ರ ನಿರ್ಬಂಧಿಸಿ. ಯಾವಾಗಲೂ ಫಾರ್ವರ್ಡ್ ಸ್ಲ್ಯಾಶ್ ನೊಂದಿಗೆ ಪ್ರಾರಂಭಿಸಿ, ಹಾಗೆ:

/ನಿರ್ವಾಹಕರು/ ಅಥವಾ /ಹುಡುಕಾಟ/

ಪ್ರಕಟಿಸುವ ಮುನ್ನ ವಿಮರ್ಶೆ ಮಾಡಿ

ನಿಮ್ಮ ಮುಖಪುಟ, ಬ್ಲಾಗ್, ವರ್ಗ ಪುಟಗಳು, ಅಥವಾ ಮುಖ್ಯ ಸೇವಾ ಪುಟಗಳನ್ನು ನೀವು ನಿರ್ಬಂಧಿಸಿಲ್ಲ ಎಂದು ಎರಡು ಬಾರಿ ಪರಿಶೀಲಿಸಿ.

ಸಂಬಂಧಿತ ಎಸ್ಇಒ ಪರಿಕರಗಳು Robots.txt

Robots.txt ತಾಂತ್ರಿಕ ಎಸ್ಇಒ ಒಂದು ಭಾಗವಾಗಿದೆ. ಈ ಪರಿಕರಗಳು ಒಂದೇ ಗುರಿಯನ್ನು ಬೆಂಬಲಿಸುತ್ತವೆ ಮತ್ತು ಎಲ್ಲವೂ ಸರಿಯಾಗಿ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತಿದೆ ಎಂದು ಖಚಿತಪಡಿಸಿಕೊಳ್ಳಲು ನಿಮಗೆ ಸಹಾಯ ಮಾಡುತ್ತದೆ:

• ಸೈಟ್ಮ್ಯಾಪ್ ಪರೀಕ್ಷಕ: ನಿಮ್ಮ ಸೈಟ್ಮ್ಯಾಪ್ ಮಾನ್ಯವಾಗಿದೆ ಮತ್ತು ಬಾಟ್ಗಳಿಗೆ ಓದಲು ಸುಲಭವಾಗಿದೆ ಎಂದು ದೃಢಪಡಿಸುತ್ತದೆ.
• ಗೂಗಲ್ ಸೂಚ್ಯಂಕ ಪರೀಕ್ಷಕ: ಪುಟವನ್ನು ಸೂಚ್ಯಂಕ ಮಾಡಬಹುದೇ ಎಂದು ಪರಿಶೀಲಿಸುತ್ತದೆ ಮತ್ತು noindex ನಂತಹ ಸಾಮಾನ್ಯ ಬ್ಲಾಕರ್ ಗಳನ್ನು ಫ್ಲ್ಯಾಗ್ ಮಾಡುತ್ತದೆ.
• HTTP ಸ್ಥಿತಿ ಕೋಡ್ ಪರಿಶೀಲಿಸಿ: ಕ್ರಾಲಿಂಗ್ ಅನ್ನು ನಿಧಾನಗೊಳಿಸಬಲ್ಲ 200, 301, 404 ಮತ್ತು ಸರ್ವರ್ ದೋಷಗಳನ್ನು ಕಂಡುಕೊಳ್ಳುತ್ತದೆ.
• ಉಚಿತ ಮರುನಿರ್ದೇಶನ ಪರೀಕ್ಷಕ: ಮರುನಿರ್ದೇಶನಗಳು ಸ್ವಚ್ಛವಾಗಿವೆ ಮತ್ತು ಸರಪಳಿಗಳು ಅಥವಾ ಕುಣಿಕೆಗಳಲ್ಲಿ ಸಿಲುಕಿಕೊಂಡಿಲ್ಲ ಎಂದು ದೃಢಪಡಿಸುತ್ತದೆ.
• ಮೆಟಾ ಟ್ಯಾಗ್ ಗಳ ವಿಶ್ಲೇಷಣೆ: ಎಸ್ಇಒ ತಪ್ಪುಗಳಿಗಾಗಿ ಶೀರ್ಷಿಕೆಗಳು, ವಿವರಣೆಗಳು ಮತ್ತು ರೋಬೋಟ್ ಗಳ ಮೆಟಾ ಟ್ಯಾಗ್ ಗಳನ್ನು ವಿಮರ್ಶಿಸುತ್ತದೆ.