Robots.txt

Robots.txt — это текстовый файл, который содержит параметры индексирования сайта для роботов поисковых систем. Обычно используется для скрытия страниц в поисковой выдаче. Вкладка Файл robots.txt находится в настройках сайта: Настройки → Файл robots.txt.

Ссылки: