איך לחסום את גוגל בוט מלהשתגע בחיפושים/פילטרים
- פורסם:
- 1 דקות
בעיה נדירה אך אפשרית באתרי מסחר/מאגרי מידע היא שגוגל ינסה לאנדקס תוכן כפול עם פילטרים/תוצאות חיפוש, בעיקר בוורדפרס.
פתרון קליל עבור בעיה זו, היא הוספה של השורות הבאות לקובץ robots.txt המיועד לאתרי ווקומרס הסובלים מכך שגוגל בוט סורק תוכן כפול ללא סוף מהאתר שלהם, ובכך מנצל את כלל משאבי השרת המוקצים למשתמש באחסון -
User-agent: *
Disallow: /?*
Disallow: /?*=*
Disallow: /*/?*=*
Disallow: /*/*/?*=*
Disallow: /*/*/*/?*=*
Disallow: /*?
Disallow: /*?
Disallow: /*/*?*
Disallow: /*/*/*?*
Disallow: /*/*/*/*?*
Disallow: /?
בשים לב ייתכן ותצטרך לבצע שינויים והתאמות והדוגמה שלנו אינה מתאימה עבור האתר שלך. עשה זאת באחריות ובליווי מקדם/מתכנת.
ניתן לקרוא בפירוט על הבעיה בקישורים הבאים -
פתרון לבעיית גוגל בוט שמאנדקס ללא סוף בקשות עם Query string
וגם כאן