Что такое индексация

Что такое индексация

Индексация — процесс сохранения страницы в базе поисковой системы.

Что происходит:

1. Робот находит страницу.
2. Загружает HTML.
3. Обрабатывает JS.
4. Извлекает контент, ссылки, метаданные.
5. Складывает в индекс.
6. С этого момента страница может показываться.

Правило: без индексации страницы нет в поиске.

Терминология

Crawling — обход. Indexing — сохранение в базу. Serving — показ по запросам. Ranking — сортировка.

Правило: все четыре — последовательно.

Что индексируется

Обычно:

• HTML-страницы.
• PDF, DOC (некоторые).
• Изображения (в отдельных базах).
• Видео (в своих базах).

Что НЕ индексируется:

• Страницы за логином.
• Закрытые robots.txt.
• С noindex.
• Ошибки 4xx / 5xx.
• Дубликаты (часто).

Индекс Яндекса и Google

Разные индексы.

• Яндекс — свой.
• Google — свой.
• Не пересекаются.

Что это значит: страница в Google ≠ в Яндексе.

Правило: проверять обе.

Как попасть в индекс

Способы:

1. Ссылки с других страниц.
2. Внутренние ссылки (главное).
3. Sitemap.xml.
4. Ручная отправка через панели.
5. IndexNow (Яндекс, Bing, Seznam).
6. Google Indexing API (для вакансий, стримов).

Правило: внутренние ссылки — самый важный источник.

Скорость индексации

Что ускоряет:

• Sitemap.xml.
• IndexNow.
• Ручная отправка.
• Внутренние ссылки с главной.
• Уникальный контент.
• Быстрый сервер.
• Авторитет сайта.

Что замедляет:

• Нет ссылок на страницу.
• Дубли.
• Ошибки 5xx.
• Медленный сервер.
• Много мусора.
• Слабый контент.

Правило: новые страницы у хорошего сайта — 1–3 дня.

Проверка индексации

Операторы:

site:example.com
site:example.com/url/

В Яндекс и Google — отдельно.

Что показывает:

• Сколько страниц в индексе.
• Точную страницу.

Ограничения:

• Приблизительное число.
• Не весь индекс.

Правило: оператор — для быстрой проверки. Точные — в панелях.

Панели вебмастера

Яндекс.Вебмастер:

• Индексирование → Страницы в поиске.
• Исключённые страницы.
• Причины исключения.

GSC:

• Индексирование → Страницы.
• Проиндексировано / Не проиндексировано.
• Причины в отчёте.

Правило: главные инструменты.

Причины «не проиндексировано»

В GSC:

• Обнаружена, не проиндексирована.
• Просканирована, не проиндексирована.
• Страница с перенаправлением.
• Страница не найдена (404).
• Страница с ошибкой сервера (5xx).
• Исключено тегом noindex.
• Заблокировано robots.txt.
• Дубликат без указанного canonical.
• Альтернативная страница с canonical.
• Мягкая 404.

Правило: каждая причина — действие.

«Обнаружена, не проиндексирована»

Что значит: робот знает, но не сохранил.

Причины:

• Слабый контент.
• Дубли.
• Мало ссылок.
• Краулинговый бюджет.
• Не нашли ценность.

Что делать:

• Уникализировать контент.
• Добавить внутренние ссылки.
• Проверить дубли.
• Обновить страницу.
• Запросить переобход.

«Просканирована, не проиндексирована»

Что значит: робот читал, но не сохранил.

Причины:

• Низкое качество.
• Дубль.
• Тонкий контент.
• Пустая страница.

Что делать:

• Улучшить контент.
• Добавить уникальности.
• Убрать дубли.
• Canonical.

Мягкая 404

Что это: страница отвечает 200, но выглядит как 404.

Примеры:

• Пустая категория.
• Товар без описания.
• Удалённый товар.
• 404-текст внутри.

Как исправить:

• Отдавать 404 код.
• Или наполнить контентом.
• Или 301 на релевантную.

Правило: пустые страницы — удалять или закрывать.

Краулинговый бюджет

Что это: сколько страниц успевает обойти робот за период.

Что тратит:

• Дубли.
• Параметры URL.
• Пагинация.
• Фильтры.
• Мусорные страницы.

Что экономит:

• Robots.txt.
• Canonical.
• Удаление мусора.
• Sitemap без мусора.
• Логичная структура.

Правило: чистый сайт → больше важных страниц в индексе.

Ручная отправка

Google:

• GSC → Проверка URL → Запросить индексирование.
• Лимит: ~10 в день.

Яндекс:

• Вебмастер → Переобход страниц.
• Лимит: зависит от сайта.

Правило: использовать точечно для важных.

IndexNow

Что это: протокол мгновенного уведомления поисковиков.

Кто поддерживает:

• Яндекс.
• Bing.
• Seznam.
• Naver.

Как работает:

1. Отправляешь URL.
2. Поисковик ставит в очередь.

• За секунды — обход.

Протокол:

POST https://yandex.com/indexnow
Host: yandex.com
Key: API_KEY

{
    "host": "example.com",
    "key": "API_KEY",
    "urlList": ["https://example.com/new-page"]
}

Ключ: файл .txt в корне сайта с API_KEY.

Правило: IndexNow — топ для новых страниц.

Логи

Что смотреть:

• Какой бот заходил.
• Какие URL обошёл.
• Какие коды получил.
• Когда заходил.

Где:

• Логи сервера.
• Screaming Frog → Log File Analyser.
• Вебмастер (для Яндекса).

Правило: логи — правда о поведении робота.

Обновление индекса

Что обновляет:

• Изменённый контент.
• Новые страницы.
• Удалённые страницы.
• 301 редиректы.

Что не обновляет быстро:

• Мета-теги.
• Title.
• Description.

Правило: изменения — не мгновенно, от дней до недель.

Практика

1. Проверьте индексацию сайта:

site:example.com

2. Сравните с числом страниц на сайте.

3. Откройте GSC → Страницы.

4. Посмотрите причины исключений.

5. Откройте Вебмастер → Страницы в поиске.

6. Найдите 3 причины.

7. Запросите переобход для 5 важных страниц.

8. Настройте IndexNow.

Частые ошибки

1. Считать, что все в индексе:

Проверять через site:

Решение: панели.

2. Не искать причины:

«Не индексируется и всё»

Решение: разбираться.

3. Мягкая 404:

Пустые страницы с 200

Решение: 404 или 301.

4. Много мусора:

Краулинговый бюджет тратится

Решение: robots, canonical.

5. Ручная отправка всего:

Лимит быстро кончается

Решение: точечно.

6. Не использовать IndexNow:

Долгая индексация

Решение: настроить.

7. Забыть про Яндекс:

В Google есть, в Яндексе нет

Решение: обе панели.

8. Ждать мгновенно:

Индексация — не минута

Решение: 1–3 дня.

Итог

• Индексация — сохранение в базу.
• Разные индексы у Яндекса и Google.
• Внутренние ссылки — главный источник.
• Sitemap + IndexNow — ускорение.
• Проверка: site:, GSC, Вебмастер.
• Причины «не проиндексировано» — разбирать.
• Мягкая 404 — исправлять.
• Краулинговый бюджет — экономить.
• Логи — правда.
• Обновление — от дней до недель.

Дальше — Robots.txt: управление краулерами.