robots.txt

Robots.txt — текстовый файл, который содержит параметры индексирования сайта для роботов поисковых систем.

Разрабатываемые нами сайты имеют возможность управления данным файлом непосредственно из системы управления сайтом.