Войти Регистрация

Генератор robots.txt онлайн

Все инструменты 89сейчас: Генератор robots.txt

Проверить сайт

HTTP-заголовки Редиректы и зеркала Коды ответа списка URL Состояние сайта (up/down и скорость) Индексируемость URL Проверка индексации URL robots.txt Анализ sitemap SSL-сертификат Проверка HTTP/3 Скорость из разных регионов Проверка блокировки сайта Проверка сайта на вирусы

SEO и содержимое страницы

SEO-анализ страницы под ключ Сайт глазами поискового робота Предпросмотр сниппета Скопировать текст со страницы Проверка валидности HTML Ресурсы страницы: CSS, JS, шрифты Битые картинки на странице Региональность сайта Картинка для соцсетей (Open Graph) Адаптивная вставка YouTube Поисковые подсказки

Ссылки и адреса

Проверка установленных ссылок Ссылки страницы: внутренние и внешние Кривые ссылки на странице Проверка адресов (кривые URL) Разбор и кодирование URL UTM-метки Транслит и punycode

Домен, DNS и сервер

Подбор домена по ключевым словам Актуальные версии CMS, фреймворков и библиотек DNS-записи Проверка DNSSEC IP, ASN и PTR Чёрные списки (DNSBL) Сайты на этом же IP Проверка портов Поиск поддоменов Калькулятор подсетей Разбор сертификата Разбор запроса на сертификат (CSR)

Работа с текстом

Анализ текста Счётчик символов и слов Сравнение текстов Сравнение списков Строки и списки Поиск дубликатов Найти и заменить Регистр и стили имён Закон Ципфа HTML-сущности

Форматы и разметка

JSON JSONPath JSON ⇄ таблица и CSV JSON ⇄ YAML XML и XPath Проверка XML по XSD HTML: форматирование и сжатие Markdown → HTML HTML → Markdown Форматирование SQL Регулярные выражения Экранирование строк

Генераторы

Генератор метатегов Генератор robots.txt Генератор favicon QR-код UUID и ULID Генератор паролей

Кодирование, время и безопасность

Base64 Хеши и HMAC JWT-токен GZip и Deflate Даты и Unix-время Cron-выражения

Изображения и файлы

Конвертер и сжатие изображений Размер, обрезка, поворот Водяной знак на изображение HEIC → JPG PDF → JPG JPG/PNG → PDF Word (.docx) → Markdown

Расчёты и цвета

Проценты Единицы измерения Системы счисления Цвета и контраст Доверительный интервал и A/B-тест

Соберите robots.txt: запреты, Sitemap, Host и Clean-param

Похожие инструменты

Коды ответа списка URL Анализ текста Генератор метатегов UTM-метки Транслит и punycode

Частые вопросы

Что делает «Генератор robots.txt»?: Соберите robots.txt: запреты, Sitemap, Host и Clean-param
Нужна ли регистрация?: Нет, утилита работает без регистрации. Зарегистрированным доступны история проверок и мониторинг.
Сохраняются ли мои данные?: Введённый текст или файл обрабатывается на сервере в момент запроса и не сохраняется: в журнал попадает только факт использования утилиты.