Robots.txt

Robots.txt – это текстовый файл, который расположен непосредственно в корневой директории ресурса. В нем прописаны инструкции для поисковых роботов, например, такие, как запрет индексации определенных разделов сайта.

Файл Robot.txt 30 июня 1994 года появился в результате подписания главными производителями поисковых машин документа «Стандарт исключений для роботов». Однако этот стандарт не дает официальных гарантий относительно его соблюдения будущими поисковыми роботами.

Одним из шагов по раскрутке ресурса является создание robot.txt, что позволяет оптимизировать работу сайта. Следует отметить, что этот файл должен всегда соответствовать образцу, в противном случае боты будут его игнорировать.

Для наглядности разберем пример Robot.txt, который запрещает индексацию двух разделов:

User-Agent: *

Disallow: /имя 1-го раздела/

Disallow: /имя 2-го раздела/

Важно обратить внимание на поле User-Agent, с которого начинается запись. Таких полей может быть несколько. В них записываются имена поисковых роботов, для которых указываются права доступа. Символ «*» означает, что инструкции прописаны для любого бота. Значением поля Disallow является URL, не подлежащий индексации. Естественно, robot.txt не содержит путей к панелям администрирования.