כלי חינמי · בדיקת סורקי AI
אילו עוזרי AI רשאים לקרוא את האתר שלכם?
מזינים את כתובת האתר. אנחנו קוראים את ה-robots.txt כמו שכל סורק AI קורא אותו, ומראים בוט אחרי בוט אם הוא מורשה ובשביל מה הוא.
מה זה בודק
הכלי מוריד את yoursite.com/robots.txt ומפעיל את הכללים שלו על 8 סורקי AI: GPTBot, OAI-SearchBot ו-ChatGPT-User (OpenAI), ClaudeBot (Anthropic), PerplexityBot, Google-Extended, Applebot-Extended ו-CCBot (Common Crawl).
לכל אחד הוא מוצא את קבוצת הכללים שחלה עליו: קבוצה שנכתבה לבוט בשמו, או קבוצת ה-* הכללית. בוט נחשב חסום כשהקבוצה הזאת חוסמת את כל האתר (Disallow: /) בלי לפתוח אותו מחדש.
אם אין robots.txt בכלל, כל הסורקים מורשים כברירת מחדל.
למה זה חשוב
עוזר AI יכול להמליץ רק על מה שהוא קרא. אם OAI-SearchBot או PerplexityBot חסומים, החיפוש של ChatGPT ו-Perplexity לא יכולים להגיע לעמודים שלכם כדי לצטט אותם.
הבוטים לא זהים. חלקם אוספים עמודים לאימון מודלים (GPTBot, ClaudeBot, CCBot), חלקם פותחים עמוד כדי לענות למשתמש ברגע זה (ChatGPT-User), ו-Google-Extended ו-Applebot-Extended הם כללים על השימוש בעמודים שכבר נאספו. אפשר לאשר בוטים של חיפוש ותשובות ולחסום אימון. זו החלטה עסקית, וכדאי שתהיה מכוונת.
הרבה חנויות חוסמות בוטים של AI בטעות: תוסף אבטחה, robots.txt מתבנית, או כלל ישן שאף אחד לא זוכר.
איך מתקנים
- פתחו את ה-robots.txt (ב-Shopify, דרך תבנית robots.txt.liquid בקוד של ערכת העיצוב; ברוב הפלטפורמות האחרות, בהגדרות ה-SEO).
- חפשו קבוצה שמציינת את הבוט, או את קבוצת ה-*, עם Disallow: /.
- כדי לאשר בוט, מחקו את השורה הזאת מהקבוצה שלו או הוסיפו לו קבוצה עם Allow: /.
- כדי לחסום אימון ולהשאיר תשובות, חסמו את GPTBot, ClaudeBot ו-CCBot בשמם והשאירו את OAI-SearchBot, ChatGPT-User ו-PerplexityBot מורשים.
- הריצו את הבדיקה שוב כדי לוודא.
שאלות
חסימה של Google-Extended מוציאה אותי מהחיפוש של גוגל?
לא. Google-Extended קובע את השימוש בעמודים לטובת מודלי Gemini. הסריקה לחיפוש של גוגל נעשית על ידי Googlebot, והכלל הזה לא משפיע עליו.
כל חברות ה-AI מכבדות את robots.txt?
robots.txt הוא בקשה ולא מנעול. החברות שמאחורי 8 הבוטים שנבדקים כאן מצהירות שהסורקים שלהן מכבדים אותו.