SEOMasterBot

SEOMaster — сервис проверки сайтов. Наш робот заходит на страницу только тогда, когда кто-то сам запросил её проверку: сам по сайтам он не ходит и ничего не индексирует.

Как он представляется

SEOMasterBot/4 (+site analyzer; contact: admin@localhost)

Адрес сервиса в настройках не указан (SEOMASTER_BASE_URL), поэтому в User-Agent пока нет ссылки на эту страницу.

Что он делает

• Запрашивает главную страницу, robots.txt, sitemap.xml, llms.txt, security.txt и несколько служебных адресов.
• При глубоком обходе просит ограниченное число страниц (по умолчанию несколько десятков) и сверяется с robots.txt перед каждой.
• Не отправляет формы, не входит в аккаунты, не выполняет JavaScript и не нагружает сайт: страницы читаются целиком не более чем до 2 МБ.

Как его ограничить

Робот соблюдает robots.txt и называется там SEOMasterBot. Чтобы закрыть сайт от обхода, добавьте:

User-agent: SEOMasterBotDisallow: /

Жалобы и вопросы

Контакт администратора пока не указан (SEOMASTER_BOT_CONTACT). Если робот ведёт себя неправильно — пришлите адрес сайта и время обращения, мы разберёмся.