BeWiki
Неофициальный справочный ресурс для клиентов хостера BeGet
Закрыть сайт от индексирования
Сайт пока еще в разработке, нужно закрыть его от поисковиков. У вас такой функционал?
Для того, чтобы закрыть ваш сайт от индексирования поисковиками, внесите в начало файла robots.txt следующие строчки
User-Agent: *
Disallow: /Данный файл находится в директории сайта (public_html). Если в директории нет такого файла - создайте его.
Подробнее о файле robots.txt и методах его применения вы можете прочитать на https://yandex.ru/support/webmaster/controlling-robot/robots-txt.xml