Робот Mail.Ru использует только записи с ‘User-agent: Mail.Ru‘ и ‘User-agent: *’ (* = все роботы). Причем запись с ‘User-agent: Mail.Ru‘ имеет приоритет перед записью ‘User-agent: *’. Таким образом, если даны указания и роботу Mail.Ru, и общие для всех роботов, то будут использованы первые. Если не заданы ни та, ни другая записи, то считается, что робот не имеет ограничений для данного сайта.
Директива Host
Директивой можно указать роботу главный сайт, в том случае если вы используете сайты-зеркала. Значением в данной строке выступает доменное имя. Для поддержания формата файла robots.txt директива должна идти внутри записи, начинающейся с User-agent.
Пример:
User-agent: *
Disallow: # обязательная для каждой записи строка с директивой Disallow
Host: www.main_host.ru
Запрет на индексирование сайта
Индексирование сайта может быть запрещено по нескольким причинам:
•Страницы содержат ошибки, вследствие чего информацию, размещенную, на сайте, невозможно проиндексировать.
•В robots.txt запрещено индексирование как отдельных страниц, так и сайта в целом.
•Используются недобросовестные приемы продвижения сайта в поисковых системах.
Удаление сайта
Для исключения сайта или его отдельных страниц из поиска Mail.ruдалите эти страницы со своего сайта или запретите их индексирование в robots.txt. Не стоит забывать, что в случае запрета на индексирование, это не гарантирует, что они не будут находиться в поиске, поскольку они могут искаться по ссылкам со сторонних веб-ресурсов.
информация взята с сайта Сайт «все о файле robots.txt»
