Поисковые роботы

Поисковые роботы или пауки представляют собой программы, используемые поисковой системой для индексации страниц. Для обработки берётся информация с главной страницы сайта. Затем робот по ссылкам переходит в другие разделы. Проиндексированная информация заносится в базу данных.

Глубину проникновения робота можно ограничивать. Поэтому эффективная раскрутка сайта требует учитывать особенности пауков различных поисковых систем. Алгоритмы работы различаются по частоте визитов, критериям обработки информации, порядком обхода сайтов. Чтобы паук попал на сайт, на него должна вести хотя бы одна ссылка с другого ресурса. Для ускорения этого процесса адрес сайта можно добавить в базу данных поисковика вручную.

В зависимости от назначения роботы делятся на категории. Национальные пауки собирают информацию с национального домена. Глобальные индексируют национальные сайты. Роботы различаются по тематике работы: индексаторы медиаконтента, зеркальщики для поиска зеркал, ссылочные подсчитывают число ссылок на сайте, стукачи для периодической проверки доступности сайта, шпионы для поиска ещё необработанных сайтов, быстрые для проверки даты последнего обновления.

Для индексации роботам доступна не вся информация, например, о личных данных или переписке пользователей. Для этого в файле robots.txt прописывают имена роботов по поисковым системам.