а
б
в
г
д
е
ж
з
и
к
л
м
н
о
п
р
с
т
у
ф
х
ц
ч
ш
щ
э
ю
я
Управление индексацией
Управление индексацией - Управление индексацией сайта при помощи всех поисковиков предоставляет возможность файл robots.txt, который находится в корневом каталоге сервера. Данный файл сообщит поисковым роботам (ботам), какие файлы могут быть ими индексированы, а какие не могут. <br>
Файл robots.txt составляют записи. Каждая запись это как минимум две строки: строка, которая имеет название клиентского приложения - User-agent, и одна либо несколько строк, которые начинаются с директивы Disallow. Значимыми являются пустые строки в файле robots.txt. При помощи их разделяются записи, которые имеют разные строки User-agent.
