בפיתוח

Generator Robots.txt |

פִּרסוֹמֶת

הנחיות כלליות

הגדר את התנהגות ברירת המחדל עבור כל הסורקים לפני הוספת שכבות של עקיפות.

הגדר כלל התרה או חסימה גלובלי עבור סוכן משתמש: *.

האטת זחלנים אם השרת שלך זקוק למרחב נשימה.

הנחיית מארח אופציונלית עבור דומיינים משוקפים.

נתיב אחד לכל שורה. תומך בסימני כלליים (wildcards) ובקווים נטויים (slashes) אחרי השורה.

ודא שתיקיות ספציפיות יישארו ניתנות לסריקה גם כאשר נתיבים רחבים יותר חסומים.

ספק כתובת URL אחת של מפת אתר בכל שורה. הוסף אינדקסים נוספים של מפות אתר אם יש לך כאלה.

זחלנים נפוצים

החלף/י את הזחלנים שברצונך לחסום לחלוטין. השאר/י אותם מורשים להסתמך על כלל ברירת המחדל שלמעלה.

כללים מותאמים אישית

הוסף סוכני משתמש עם הנחיות מותאמות אישית של היתר או חסימה, עיכובי סריקה ורמזים למפת אתר.

העתיקו את הקובץ שנוצר למעלה והעלו אותו לשורש הדומיין שלכם בשם robots.txt.

צור קובצי robots.txt כדי לשלוט בהתנהגות הסריקה של מנוע החיפוש.
Table of Contents

Robots.txt מחולל עבור סריקה ויצירת אינדקס טובים יותר

Robots.txt הוא קובץ טקסט קטן המנחה בוטים לחיפוש באתר שלך.

השתמש ב-robots.txt כדי לחסום אזורים כמו דפי ניהול, תיקיות ביצוע, כתובות אתרים לבדיקה, דפי סינון ושכפול נתיבים.

מה המשמעות של Robots.txt בקידום אתרים

Robots.txt הוא חלק מתקן אי הכללת רובוטים.

yourdomain.com/robots.txt

מנועי חיפוש בודקים לעתים קרובות את הקובץ הזה מוקדם מכיוון שהוא נותן להם הנחיות סריקה ברורות.

נקודה חשובה אחת:

  • Robots.txt שולט בסריקה
  • זה לא מבטיח הוספה לאינדקס

אם ברצונך לאשר שדף יכול להופיע בתוצאות החיפוש, השתמש בבדיקת התאמה לאינדקס.

מדוע Robots.txt עוזר עם תקציב הסריקה

מנועי החיפוש אינם סורקים כל עמוד בכל יום.

אם האתר שלך איטי או מחזיר שגיאות, הסורקים עשויים לבקר בפחות דפים בכל הפעלה.

לקבלת התוצאות הטובות ביותר, השתמש ב-robots.txt עם מפת אתר:

  • Robots.txt מנחה בוטים על מה לסרוק או לדלג
  • Sitemap מפרט את הדפים שברצונך לסרוק ולהוסיף לאינדקס

כללי Robots.txt שכדאי להכיר

קובץ robots.txt משתמש בכמה הנחיות פשוטות.

  • סוכן משתמש
  • מגדיר על איזה בוט חל הכלל
  • אסור
  • חוסם סריקה של תיקיה או נתיב
  • אפשר
  • פותח נתיב ספציפי בתוך תיקיה חסומה
  • השהיית סריקה
  • מבקש סריקה איטית יותר עבור חלק מהבוטים (לא כל הבוטים עוקבים אחריה)

טעות קטנה יכולה לחסום דפים חשובים, כולל קטגוריות מפתח או דפי נחיתה מרכזיים.

מדוע אתרי וורדפרס זקוקים לרוב ל-Robots.txt

וורדפרס יכולה ליצור כתובות URL רבות שאינן עוזרות לקידום אתרים, כגון דפי חיפוש פנימיים, כמה דפי ארכיון וכתובות URL מבוססות פרמטרים.

אפילו באתרים קטנים יותר, קובץ robots.txt נקי הוא הגדרה חכמה.

ההבדל בין Robots.txt ו-Sitemap

מפת אתר מסייעת למנועי החיפוש לגלות את הדפים שאתה רוצה לסרוק.

  • Sitemap משפר את הגילוי
  • Robots.txt שולט בגישה לסריקה

רוב האתרים נהנים משימוש בשניהם.

כיצד ליצור Robots.txt באמצעות הגנרטור הזה

Robots.txt הוא פשוט, אך אינו סלחן.

הגדר גישת ברירת מחדל

בחר אם כל הבוטים יכולים לסרוק את האתר שלך כברירת מחדל.

הוסף את כתובת האתר של מפת האתר שלך

כלול את מפת האתר שלך כדי שהסורקים יוכלו למצוא את הדפים החשובים שלך מהר יותר.

הוסף נתיבים אסורים בזהירות

חסום רק את מה שאתה באמת לא רוצה שיסרק.

/admin/ או /search/

בדוק לפני פרסום

בדוק שוב שלא חסמת את דף הבית, הבלוג, דפי הקטגוריות או דפי השירות הראשיים שלך.

כלי SEO קשורים שעובדים היטב עם Robots.txt

Robots.txt הוא חלק אחד מקידום אתרים טכני.

כלים קשורים

מונה דפי אתר

בודק קישור שבור

בודק צפיפות מילות מפתח

מחולל מילות מפתח עם זנב ארוך

בודק קושי מילות מפתח

כלי הצעות מילות מפתח

מחולל מילות מפתח LSI

מקבץ מילות מפתח

Search Intent Analyzer

כלי מחקר מילות מפתח