Генераторы файлов

Готовые sitemap.xml, robots.txt и правила редиректов для nginx, Apache и PHP — с проверкой на петли и цепочки

sitemap.xml из аудита robots.txt Правила редиректов

Движок сайта Домен (для строки Sitemap)

Дополнительно закрыть (по пути на строке) Адреса sitemap (по одному на строке; если пусто — https://домен/sitemap.xml) Закрыть от отдельных ботов (через запятую) Отдельный блок для Яндекса с Clean-param Параметры для Clean-param (через пробел) Разрешить CSS и JS (нужно для отрисовки страницы роботом) Закрыть весь сайт от индексации (для тестовых копий)