Урок 02

Как работают поисковики: crawling, indexing, ranking

Три этапа

Путь страницы в поиск:

Crawling → Indexing → Ranking

Что означает:

  • Crawling — робот находит страницу.
  • Indexing — сохраняет и анализирует.
  • Ranking — показывает в поиске по запросу.

Правило: если страница не прошла все три этапа — она не найдётся.

Crawling

Что делает робот:

  • Ходит по ссылкам.
  • Читает HTML.
  • Сохраняет контент.
  • Замечает новые URL.

Имена роботов:

  • Googlebot — Google.
  • YandexBot — Яндекс.
  • Bingbot — Bing.
  • Mail.Ru Bot — Mail.

Что важно:

  • Краулинговый бюджет — сколько страниц в день.
  • Скорость — сколько секунд на страницу.
  • Глубина — на сколько кликов от главной.

Как робот находит страницы

Источники:

  • Ссылки внутри сайта — главный источник.
  • Внешние ссылки.
  • Sitemap.xml.
  • Ручная отправка через панели.
  • Открытые базы (например, IndexNow).

Правило: новые страницы без ссылок внутри сайта — робот не найдёт.

Краулинговый бюджет

Что это: количество страниц, которые робот обходит за период.

Что влияет:

  • Авторитет сайта.
  • Скорость сервера.
  • Размер сайта.
  • Качество контента.

Что тратит:

  • Дубли.
  • Параметры URL.
  • Мусорные страницы.
  • Пагинация без смысла.

Правило: чем меньше мусора — тем больше бюджета на полезное.

Indexing

Что происходит:

  1. Робот сохраняет HTML.
  2. Парсит контент.
  3. Извлекает текст, ссылки, метаданные.
  4. Анализирует структуру.
  5. Складывает в индекс.

Что влияет на индексацию:

  • Качество контента.
  • Уникальность.
  • Скорость сайта.
  • Мета-теги.
  • Структурированные данные.

Виды индексирования

Полная индексация:

  • Все страницы в индексе.
  • Цель.

Частичная:

  • Часть страниц.
  • Проблема.

Не индексируется:

  • Nofollow.
  • Noindex.
  • Robots.txt.
  • Ошибки 4xx / 5xx.
  • Канонические ссылки.

Правило: проверять через Вебмастер и GSC.

Проблемы индексации

1. Страница не в индексе:

  • Nofollow/Noindex.
  • Robots.txt.
  • Ошибка 4xx/5xx.
  • Много дублей.
  • Слабый контент.

2. Дубли:

  • www vs без www.
  • http vs https.
  • слэш vs без слэша.
  • Параметры (?utm, ?sort).

3. Медленная индексация:

  • Нет ссылок.
  • Маленький краулинговый бюджет.
  • Плохая скорость.

Ranking

Что происходит:

  1. Пользователь вводит запрос.
  2. Поисковик ищет в индексе.
  3. Сортирует по релевантности.
  4. Показывает топ-10.

Что влияет:

  • Релевантность — соответствие запросу.
  • Качество — E-A-T, ссылки.
  • Юзабилити — скорость, мобильные.
  • Свежесть — для новостей.
  • Поведенческие — клики, время.

Факторы ранжирования

Условно 3 группы:

1. Контентные:

  • Ключевые слова.
  • Полнота.
  • Уникальность.
  • Актуальность.
  • Экспертность.

2. Технические:

  • Скорость.
  • Мобильность.
  • HTTPS.
  • Структурированные данные.
  • Индексация.

3. Внешние:

  • Ссылки.
  • Упоминания.
  • Соцсигналы.

Правило: ни один фактор не решает. Комбинация.

Нейроответы

Что изменилось:

  • Google AI Overviews.
  • Яндекс Нейро.
  • ChatGPT Search.
  • Perplexity.

Что происходит:

  • ИИ-ответ сверху.
  • Ссылки — в источники.
  • Пользователь не переходит.

Что это значит для SEO:

  • Ноль кликов за частотными запросами.
  • Рост важности уникального опыта.
  • GEO/AEO — оптимизация под ИИ.

Как робот видит сайт

Что видит:

  • HTML-контент.
  • Текст.
  • Ссылки.
  • Метаданные.
  • Структурированные данные.

Что НЕ видит:

  • Изображения без alt.
  • Контент без JS (или видит частично).
  • Flash.
  • Canvas.
  • Закрытые области.

Правило: проверяйте через просмотр как Googlebot.

Сервисы для проверки

Google:

  • Search Console → проверка URL.
  • Fetch as Googlebot.
  • Mobile-Friendly Test.

Яндекс:

  • Вебмастер → проверка ответа сервера.
  • Переобход страниц.

Оба:

  • Screaming Frog — эмуляция робота.
  • curl — прямая проверка.

Скорость индексации

Что ускоряет:

  • Sitemap.xml.
  • IndexNow.
  • Внутренние ссылки.
  • Ручная отправка.
  • Уникальный контент.
  • Быстрый сервер.

Что замедляет:

  • Дубли.
  • Плохие ссылки.
  • Ошибки 4xx.
  • Медленный сервер.
  • Большой сайт без структуры.

Правило: новые страницы — за 1–3 дня, если всё правильно.

Практика

1. Проверьте индексацию своего сайта:

site:example.com
  • В Google.
  • В Яндексе.

2. Сравните с общим количеством страниц.

3. Посмотрите в Вебмастере:

  • Исключённые страницы.
  • Ошибки.

4. Проверьте главную через проверку URL.

5. Посмотрите, как робот видит страницу.

6. Найдите 3 причины, почему часть страниц не в индексе.

Частые ошибки

1. Считать, что все страницы в индексе:

Проверяйте через site:

Решение: Вебмастер.

2. Забыть про robots.txt:

Закрыли лишнее

Решение: проверить.

3. Ошибки 5xx при обходе:

Робот откладывает

Решение: мониторинг.

4. Дубли без canonical:

Индексируется не та версия

Решение: canonical.

5. Много параметров:

Краулинговый бюджет тратится

Решение: robots.txt, canonical.

6. Контент только через JS:

Робот может не выполнить

Решение: SSR / SSG.

7. Медленная загрузка:

Робот уходит

Решение: оптимизация.

8. Нет Sitemap:

Робот не узнаёт о новых страницах

Решение: генерировать.

Итог

  • 3 этапа: crawling, indexing, ranking.
  • Робот ходит по ссылкам.
  • Краулинговый бюджет — ограничен.
  • Индексация — сохранение и анализ.
  • Ранжирование — сортировка.
  • Дубли, параметры, ошибки — враги.
  • Sitemap + IndexNow — ускорение.
  • Нейроответы — новая реальность.
  • Проверять через панели.

Дальше — Яндекс vs Google vs Bing vs Mail: ключевые различия.