פרוטוקול אי הכללת רובוטים

מתוך ויקיפדיה, האנציקלופדיה החופשית
קפיצה אל: ניווט, חיפוש

פרוטוקול אי הכללת רובוטים או robots.txt הוא מוסכמה המאפשרת למנהל אתר אינטרנט (Webmaster) להגדיר כיצד יסרק האתר על ידי מנועי חיפוש ובוטים אחרים המצייתים לפרוטוקול. הגדרה זו מתבצעת באמצעות קובץ בשם robots.txt ומכיל תחביר מיוחד ונמצא בספריית השורש (root) של האתר. פרוטוקול זה משמש בעיקר להסתרה של חלקים מסוימים באתר ממנועי חיפוש.

על ידי שימוש בפרטוקול זה אפשר להורות למנועי חיפוש לסרוק דפים באתר או לא לאנדקס אותם.

קישורים חיצוניים[עריכת קוד מקור | עריכה]

Crystal Clear app ktalkd.png ערך זה הוא קצרמר בנושא מחשבים. אתם מוזמנים לתרום לוויקיפדיה ולהרחיב אותו.