ВойтиРегистрация

Файл robots.txt

пошаговая инструкция · Быстро: 5–15 минут

← Все инструкции

1. Что произошло

Файл robots.txt подсказывает поисковикам, какие разделы можно читать.

2. Почему это важно

Роботы могут тратить время на служебные страницы или читать лишнее. После исправления: Поисковики аккуратнее обходят сайт, быстрее находят важное.

3. На каких страницах обнаружено

Адрес /robots.txt в корне сайта. Если страницы закрыты в нём по ошибке, их список даёт аудит страниц и глубокий обход (проблемы «Закрыто в robots.txt»).

Чтобы увидеть адреса на вашем сайте, откройте инструкцию из отчёта или добавьте домен в адрес: /fix/robots/ваш-сайт.ru.

4. Как исправить

Для phpBB

  1. Положите robots.txt в корень форума. Закройте служебные страницы: управление профилем, поиск, форма ответа, постоянно меняющиеся адреса с sid (пример ниже).
phpBB
User-agent: *
Disallow: /adm/
Disallow: /ucp.php
Disallow: /mcp.php
Disallow: /posting.php
Disallow: /search.php
Disallow: /memberlist.php
Disallow: /report.php
Disallow: /*?sid=
Disallow: /*&sid=

Sitemap: https://example.com/sitemap.xml

Общее для любого сайта

  1. Создайте текстовый файл robots.txt в корне сайта (рядом с главной страницей). Он должен открываться по адресу https://example.com/robots.txt с кодом 200.
  2. Закрывайте только служебное: админку, корзину, поиск по сайту, страницы входа, версии для печати. Не закрывайте CSS, JS и картинки: роботам нужно видеть страницы так же, как посетителям.
  3. Укажите адрес карты сайта строкой Sitemap.
  4. Не используйте robots.txt, чтобы скрыть страницу от поиска: закрытая страница может остаться в выдаче. Для этого нужен meta robots noindex (инструкция «Страница закрыта от индексации»).
  5. Готовый файл можно получить в разделе «Генератор robots.txt» SEOMaster.

5. Готовый код

Замените example.com на свой домен. Перед правкой конфигурации сделайте резервную копию файла.

Любой сайт

Универсальный шаблон
User-agent: *
Disallow: /admin/
Disallow: /search/
Disallow: /*?utm_
Allow: /

Sitemap: https://example.com/sitemap.xml

WordPress

WordPress
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /?s=
Disallow: /search/
Disallow: /*?replytocom=

Sitemap: https://example.com/wp-sitemap.xml

1С-Битрикс

1С-Битрикс
User-agent: *
Disallow: /bitrix/
Disallow: /auth/
Disallow: /personal/
Disallow: /search/
Disallow: /*?print=
Disallow: /*&print=
Disallow: /*backurl=
Allow: /bitrix/components/
Allow: /bitrix/js/
Allow: /bitrix/templates/
Allow: /bitrix/css/

Sitemap: https://example.com/sitemap.xml

Joomla

Joomla
User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /logs/
Disallow: /tmp/

Sitemap: https://example.com/sitemap.xml

6. Как проверить результат

  1. Команда показывает «200» и ваш текст.
  2. Проверьте важную страницу в Яндекс.Вебмастере («Инструменты → Анализ robots.txt») и в Search Console («Проверка URL»): доступ роботу должен быть разрешён.
  3. Нажмите «Перепроверить сайт».
Файл отдаётся с кодом 200
curl -sI https://example.com/robots.txt | head -n 1
curl -s https://example.com/robots.txt | head -n 30

Чтобы перепроверить сайт, откройте отчёт и нажмите «Проверить заново».