Диагностика индексации

Страница /indexing и /indexing/{сайт} собирает в одном месте, что про индексацию сайта говорят Яндекс Вебмастер, Google Search Console (URL Inspection) и собственный глубокий обход. Раздел «Что исправить» — единый список действий по приоритету.

Источники

• Яндекс Вебмастер (API v4): сводка по сайту, события «страница исключена / добавлена» (выборка последних ~300), страницы в поиске, важные адреса, файлы sitemap, диагностика сайта. Причины исключения (NOT_CANONICAL, DUPLICATE, NO_INDEX, HTTP_ERROR, ROBOTS_URL_ERROR и др.) переводятся в понятное объяснение, что делать, и ссылку на руководство.
• Google URL Inspection: вердикт, coverageState, robots.txt, indexingState, pageFetchState, последний обход, canonical Google и заданный вами, sitemap и ссылающиеся страницы.
• Собственный обход (Deep Crawl): воронка страниц по классам (индексируемые, canonical на другую, noindex, редирект, ошибка, закрыто robots, файл) и конфликты с sitemap.

Квоты

Google даёт 2000 проверок в сутки на сайт. Мы ограничиваем себя: 100 в сутки и 25 за один запуск. При блокировке шлюза или двух ошибках подряд проверка останавливается.

Воронка

Показывает, сколько страниц сайта индексируемы, сколько исключены каждой причиной, и сколько из них есть в sitemap.

Расхождения

Перекрёстная проверка источников: canonical, который Google выбрал иначе; noindex в sitemap; адреса из sitemap, не попавшие в индекс; изменившийся robots.txt; устаревший noindex; страницы, которые вот-вот выпадут из индекса; важные адреса Яндекса не из sitemap.

Что исправить

Объединённый список действий: уровень (ошибка/внимание/совет), число страниц, примеры, как исправить, ссылка на руководство и кнопка «в план задач» (до 10 задач, повторно не дублируются).

Проверка отдельной страницы

/indexability теперь дополнительно проверяет noindex и robots.txt у canonical-цели, canonical в <body>, meta refresh, unavailable_after, конфликт Link-заголовка с HTML и противоречие «в sitemap, но закрыто». Для подтверждённых сайтов показывает данные Google и Яндекса.

Чьи данные

Данные Google и Яндекса доступны только владельцу подтверждённого сайта. Чужие сайты не показывают данных поставщиков — только косвенные признаки со страницы.