Роботы поисковых систем - это специальные программы, которые находятся в составе программного комплекса поискового сервера, осуществляющие поставленные им задачи согласно поисковому механизму. При этом программа, которая посещает веб-страницы, а также считывает либо индексирует полностью или частично их содержимое. Дальше он проходит дальше по ссылкам, которые находит на данной странице. Робот через определенные промежутки времени возвращается и индексирует страницу опять. Робот заносит всю информацию в индексы поисковика. При помощи файла robots.txt появляется возможность управлять роботами поисковых машин Yandex, Google, а также Rambler.
Код ссылки скопирован в буфер
Если у Вас есть сайт или блог, разместите, пожалуйста, нашу ссылку:
