Генераторы файлов
Готовые sitemap.xml, robots.txt и правила редиректов для nginx, Apache и PHP — с проверкой на петли и цепочки
Файл включает только страницы с ответом 200, без noindex и с canonical на себя.
Недавние аудиты: wikipedia.org github.com python.org www.php.net php.net 400.su tests-tests.ru