כלי חינמי · מחולל robots.txt

מחולל robots.txt עם שליטה בסורקי AI.

בוחרים מה הסורקים רשאים לקרוא, מחליטים בוט אחרי בוט אילו סורקי AI נכנסים, ומעתיקים קובץ robots.txt שאומר בדיוק את זה.

פלטפורמה

שמרו את הקובץ בשם robots.txt בשורש האתר, כך שייפתח ב-yoursite.com/robots.txt.

מנועי חיפוש וכל שאר הסורקים

תיקיות לחסום, אחת בכל שורה

כתובת מפת האתר

סורקי AI

GPTBot אימון

OpenAI. אוסף עמודים ציבוריים שעשויים לשמש לאימון המודלים של OpenAI.

OAI-SearchBot חיפוש ותשובות

OpenAI. בונה את האינדקס שבו החיפוש של ChatGPT מוצא אתרים ומקשר אליהם בתשובות.

ChatGPT-User חיפוש ותשובות

OpenAI. פותח עמוד כשמשתמש ב-ChatGPT שואל עליו או לוחץ עליו.

ClaudeBot אימון

Anthropic. אוסף עמודים ציבוריים שעשויים לשמש לאימון המודלים של Claude.

PerplexityBot חיפוש ותשובות

Perplexity. מאנדקס עמודים כדי ש-Perplexity יוכל למצוא ולצטט אותם בתשובות.

Google-Extended אימון

Google. לא סורק נפרד אלא כלל שקובע אם Google רשאי להשתמש בעמודים לטובת מודלי Gemini. החיפוש של Google לא מושפע.

Applebot-Extended אימון

Apple. כלל שקובע אם Apple רשאית להשתמש בעמודים ש-Applebot אוסף לאימון מודלי ה-AI שלה.

CCBot אימון

Common Crawl. בונה את מאגר הנתונים הפתוח של Common Crawl, שעליו מאומנים מודלי AI רבים.

robots.txt

User-agent: *
Allow: /

אחרי שמעלים, בדקו את התוצאה בבדיקת סורקי AI.

הצעד הבא: הסריקה החינמית של Uruora קוראת את החנות כולה ומדרגת מה לתקן קודם.

לסריקה המלאה

מה הכלי עושה

הכלי כותב robots.txt מטופס קצר: לאפשר או לחסום את כל הסורקים, תיקיות לחסימה, כתובת מפת האתר, ובחירה של לאפשר או לחסום ל-8 סורקי AI: GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, PerplexityBot, Google-Extended, Applebot-Extended ו-CCBot.

ליד כל בוט כתוב מה הוא עושה: אימון (איסוף עמודים שעשויים לשמש לאימון מודלים) או חיפוש ותשובות (מציאה וציטוט של עמודים כשמישהו שואל). לחיצה אחת מגדירה "לחסום אימון, לאפשר תשובות".

אפשר לטעון קודם את ה-robots.txt הנוכחי, והטופס יתמלא לפיו. ההגדרות לפי פלטפורמה משנות את התוצאה: ב-Shopify מקבלים תבנית robots.txt.liquid ששומרת על כללי ברירת המחדל של Shopify, ב-WordPress את כלל הניהול הסטנדרטי, וב-Wix הסבר איפה מדביקים.

למה זה חשוב

robots.txt הוא הקובץ הראשון שסורק קורא. שורה אחת לא נכונה, כמו Disallow: / תחת User-agent: *, יכולה להוציא את כל החנות מהחיפוש.

סורקי AI מוסיפים החלטה עסקית. חסימה של בוטי החיפוש והתשובות אומרת שהחיפוש של ChatGPT או Perplexity לא יכולים לפתוח את העמודים שלכם כדי לצטט אותם. חסימה של בוטי האימון בלבד מוציאה את העמודים מאימון מודלים ומשאירה אתכם גלויים בתשובות AI. בכל מקרה, כדאי שזו תהיה החלטה מכוונת ולא שארית מתבנית.

מה עושים עם התוצאה

מעתיקים או מורידים את הקובץ ומפרסמים אותו בשורש האתר, כך שייפתח ב-yoursite.com/robots.txt.
ב-Shopify פותחים את עורך הקוד של ערכת העיצוב, לוחצים קליק ימני על התיקייה Templates, מוסיפים קובץ חדש בשם robots.txt.liquid ומדביקים את הקוד.
ב-Wix מדביקים את הכללים בעורך ה-robots.txt שבהגדרות ה-SEO.
בודקים את הקובץ החי בבדיקת סורקי AI.
לא משתמשים ב-robots.txt כדי להסתיר עמוד מתוצאות החיפוש של גוגל. בשביל זה שמים תגית noindex בעמוד עצמו.

שאלות

איפה שמים את robots.txt?

בשורש הדומיין: yoursite.com/robots.txt. סורקים לא מחפשים אותו בשום מקום אחר.

robots.txt מוציא עמוד מגוגל?

לא. עמוד חסום עדיין יכול להופיע באינדקס אם אתרים אחרים מקשרים אליו, רק בלי התוכן שלו. כדי להוציא עמוד מהתוצאות, נותנים לסרוק אותו ומוסיפים תגית noindex.

אם אחסום את GPTBot, ChatGPT יפסיק לצטט את החנות?

OpenAI משתמשת ב-GPTBot לאימון וב-OAI-SearchBot לתוצאות החיפוש של ChatGPT. חסימה של GPTBot לבד לא חוסמת את OAI-SearchBot.

אפשר לערוך robots.txt ב-Shopify?

כן, דרך תבנית robots.txt.liquid בערכת העיצוב. Shopify ממליצה בחום לבנות על כללי ברירת המחדל שלה, וההגדרה של Shopify כאן משאירה אותם.

כל הסורקים מצייתים ל-robots.txt?

robots.txt הוא בקשה שסורקים בוחרים לכבד. מנועי החיפוש הגדולים והחברות שמאחורי 8 בוטי ה-AI שברשימה אומרים שהסורקים שלהם פועלים לפיו.

כלי אחד הוא התחלה. הסריקה קוראת את כל החנות.

לסריקה המלאה