Управление индексацией - Управление индексацией сайта при помощи всех поисковиков предоставляет возможность файл robots.txt, который находится в корневом каталоге сервера. Данный файл сообщит поисковым роботам (ботам), какие файлы могут быть ими индексированы, а какие не могут.
Файл robots.txt составляют записи. Каждая запись это как минимум две строки: строка, которая имеет название клиентского приложения - User-agent, и одна либо несколько строк, которые начинаются с директивы Disallow. Значимыми являются пустые строки в файле robots.txt. При помощи их разделяются записи, которые имеют разные строки User-agent.
Код ссылки скопирован в буфер
Если у Вас есть сайт или блог, разместите, пожалуйста, нашу ссылку:
