Урок 03

Вебмастер: индексирование и диагностика

Раздел «Индексирование»

Что включает:

  • Страницы в поиске.
  • Исключённые страницы.
  • Файлы Sitemap.
  • Переобход.
  • Удаление страниц.
  • История обхода.

Правило: главный раздел для контроля индекса.

Страницы в поиске

Что видно:

  • Сколько страниц в индексе.
  • По разделам.
  • Динамика — растёт / падает.
  • Примеры URL.

Как проверить:

  • Сравнить с числом страниц на сайте.
  • Посмотреть на динамику.
  • Найти аномалии.

Правило: резкое падение — повод разобраться.

Исключённые страницы

Что видно:

  • Список URL вне индекса.
  • Причины исключения.
  • Фильтры по причинам.

Типичные причины:

  • Не найдено (404).
  • Запрещено в robots.txt.
  • Тег noindex.
  • Дубликат.
  • Редирект.
  • Ошибка сервера (5xx).
  • Недостаточно контента.
  • Низкое качество.

Что делать: по каждой группе — свой подход.

404

Что значит: страница удалена или не существовала.

Что делать:

  • Если страница не нужна — оставить 404.
  • Если есть релевантная — 301 на неё.
  • Если важная — восстановить.

Правило: битые ссылки — чинить.

Запрещено в robots.txt

Что значит: стоит Disallow.

Что делать:

  • Проверить, нужно ли это.
  • Открыть, если лишнее.
  • Оставить, если служебное.

⚠️ Не открывать служебные (admin, cart).

Тег noindex

Что значит: страница закрыта noindex.

Что делать:

  • Проверить, нужно ли.
  • Убрать noindex для важных.
  • Оставить для служебных.

Дубликаты

Что значит: есть другая версия URL.

Что делать:

  • Найти дубли.
  • Canonical на основную.
  • 301 на основную.
  • Robots для параметров.

Правило: все дубли — на одну версию.

5xx ошибки

Что значит: сервер отвечает 500, 502, 503.

Что делать:

  • Проверить логи сервера.
  • Исправить проблему.
  • Мониторить регулярно.

Правило: 5xx = робот уходит.

Недостаточно контента

Что значит: страница пустая или почти.

Что делать:

  • Наполнить контентом.
  • Или 404 / 301.
  • Или noindex.

Низкое качество

Что значит: Яндекс считает страницу плохой.

Что делать:

  • Улучшить контент.
  • Уникализировать.
  • Добавить пользу.

Мягкая 404

Что это: 200, но по сути пусто.

Примеры:

  • Пустая категория.
  • Товар без описания.
  • Удалённый товар с 200.

Как найти: в отчёте «Страницы с ответом 200 без контента».

Что делать:

  • Отдавать 404.
  • Или наполнить.
  • Или 301.

Sitemap

Индексирование → Файлы Sitemap:

Что видно:

  • Сколько URL прочитано.
  • Сколько добавлено.
  • Ошибки.
  • Дата обработки.

Что делать:

  • Проверять регулярно.
  • Обновлять через cron.
  • Не включать мусор.

Переобход

Что это: ускорить обход конкретных URL.

Где: Индексирование → Переобход страниц.

Лимит: зависит от сайта (5–50 в день).

Когда:

  • Новая важная страница.
  • Изменили критичное.
  • Исправили ошибку.

Правило: точечно — не тратить лимит зря.

Удаление страниц

Что можно:

  • Удалить из поиска.
  • Обновить информацию.

Когда:

  • Устаревшая страница.
  • Персональные данные.
  • Спам.

⚠️ Без noindex — временно.

История обхода

Что видно:

  • Когда робот заходил.
  • Сколько страниц обошёл.
  • Ответы сервера.

Правило: аномалии → повод разобраться.

Диагностика

Раздел «Диагностика»:

  • Ошибки — критично.
  • Предупреждения — важно.
  • Возможности — улучшения.

Что смотреть в первую очередь:

  • Ошибки с 4xx / 5xx.
  • Медленные страницы.
  • Дубли title.
  • Отсутствие description.
  • Мало контента.
  • Много ссылок.
  • Проблемы с robots.

Ошибки

Что критично:

  • 5xx — серверные.
  • Ошибки доступа.
  • Проблемы с DNS.
  • Взлом сайта.
  • Вирусы.

Что делать: исправлять сразу.

Предупреждения

Что важно:

  • Дубли title.
  • Пустые description.
  • Отсутствие H1.
  • Мало текста.
  • Много исходящих ссылок.
  • Медленные страницы.

Что делать: фиксить по мере возможности.

Возможности

Что улучшить:

  • Структура title.
  • Структурированные данные.
  • Скорость.
  • Мобильные.
  • Sitemap.

Типичные проблемы

1. Медленные страницы:

Что делать: PageSpeed, оптимизация.

2. Отсутствие title:

Что делать: заполнить.

3. Дубли title:

Что делать: уникализировать.

4. Отсутствие description:

Что делать: добавить.

5. Отсутствие H1:

Что делать: добавить.

6. Много исходящих:

Что делать: сократить.

Экспорт отчётов

Что можно скачать:

  • Список запросов.
  • Страницы в поиске.
  • Исключённые.
  • Диагностика.

Формат: XLSX.

Правило: для анализа — обязательно.

Регулярность

Что проверять:

  • Ежедневно: 5xx ошибки.
  • Еженедельно: индексация, диагностика.
  • Ежемесячно: общий отчёт.

Практика

1. Зайдите в Индексирование.

2. Сравните страницы в поиске с общим числом.**

3. Откройте Исключённые.

4. Выпишите топ-5 причин.

5. Исправьте по одной.**

6. Проверьте Sitemap.

7. Переобход 5 важных URL.

8. Проверьте Диагностику.

9. Скачайте отчёты.

Частые ошибки

1. Не смотреть исключённые:

Терять страницы

Решение: регулярно.

2. 5xx не замечают:

Робот уходит

Решение: мониторинг.

3. Мягкая 404:

Пустые с 200

Решение: 404 или 301.

4. Sitemap с мусором:

Тратится бюджет

Решение: чистить.

5. Переобход всего:

Лимит кончается

Решение: точечно.

6. Игнорировать предупреждения:

Копятся

Решение: фиксить.

7. Без регулярности:

Проблемы незаметны

Решение: расписание.

8. Не экспортировать:

Тяжело анализировать

Решение: XLSX.

Итог

  • Индексирование — главный раздел.
  • Страницы в поиске — сверять с сайтом.
  • Исключённые — разбирать причины.
  • Мягкая 404 — исправлять.
  • 5xx — критично.
  • Sitemap — регулярно.
  • Переобход — точечно.
  • Диагностика — по группам.
  • Экспорт — для анализа.
  • Регулярность — обязательна.

Дальше — Яндекс.Метрика: установка счётчика.