[Amin_Mansouri]

این فایل یکی از علل مهم برای افزایش رتبه سایت در موتورهای جستجو گر است، حال آنکه بسیاری از سایت ها و مدیران آنها به این فایل و قراردادن آن در سایت کم توجهی میکنند.
یکی از کارهای این فایل این است که به موتور جستجوگر کمک می کند تا از رفتن به قسمت های غیر ضروری سایت اجتناب کند، به عنوان مثال دایرکتوری ایمیل ها ، عکس ها، پوشه Template و قسمت پنل مدیریت سایت.در حقیقت فایل روبوت یم فایل ساده متنی است که در پوشه Root سایت قرار گرفته و شامل مسیر های معرفی شده یا ممنوعه برای پیمایشگر های موتورهای جستجوگر یا در حقیقت همان Spider هاست که به Bot معروفند.
یعنی این فایل مسیرهای مجاز و غیر مجاز برای Bot ها را مشخص می کند.
بطور کلی اگر این فایل در ریشه سایت وجود نداشته باشد، Bot ها تمام سایت را پیمایش می کنند.
چگونه یک Robot.txt بسازیم؟
فایل روبات دارای یک فرمت خاص می باشد.این فایل شامل خطوطی است که در این خطوط دو فیلد وجود دارد: User-Agent و Disallow
<Field> “:” <value>
User-agent
این قسمت نام پیمایشگر را مشخص میکند :

کد:

User-agent: googlebot
User-agent: *
Disallow

در این قسمت مسیر فایل ها یا پوشه های مورد نظر را تعریف می کنیم.

کد:

Disallow: contactinfo.htm
Disallow: /cgi-bin/

مثال ها:

کد:

The following allows all robots to visit all files because the wildcard "*" specifies all robots.
User-agent: *
Disallow:
This one keeps all robots out.
User-agent: *
Disallow: /
The next one bars all robots from the cgi-bin and images directories:
User-agent: *
Disallow: /cgi-bin/
Disallow: /images/
This one bans Roverdog from all files on the server:
User-agent: Roverdog
Disallow: /
This one bans keeps googlebot from getting at the personal.htm file:
User-agent: googlebot
Disallow: personal.htm