а
б
в
г
д
е
ж
з
и
к
л
м
н
о
п
р
с
т
у
ф
х
ц
ч
ш
щ
э
ю
я
Роботы поисковых систем
Роботы поисковых систем - это специальные программы, которые находятся в составе программного комплекса поискового сервера, осуществляющие поставленные им задачи согласно поисковому механизму. При этом программа, которая посещает веб-страницы, а также считывает либо индексирует полностью или частично их содержимое. Дальше он проходит дальше по ссылкам, которые находит на данной странице. Робот через определенные промежутки времени возвращается и индексирует страницу опять. Робот заносит всю информацию в индексы поисковика. При помощи файла robots.txt появляется возможность управлять роботами поисковых машин Yandex, Google, а также Rambler.
