Урок 03

Robots.txt: управление краулерами

Что такое robots.txt

Robots.txt — текстовый файл, который говорит роботам, что можно, а что нельзя обходить.

Где лежит:

https://example.com/robots.txt

Только в корне. Не в папке — не работает.

Правило: robots.txt — не защита. Только рекомендации.

Что можно

Robots.txt управляет:

  • Обходом страниц.
  • Какие боты допускаются.
  • Скоростью обхода (Crawl-delay).
  • Sitemap — где лежит.

Что НЕ управляет:

  • Индексацией (для этого noindex).
  • Защитой контента.
  • Приватностью.

⚠️ Закрытый в robots.txt URL может всё равно попасть в индекс — если на него есть внешние ссылки.

Синтаксис

Структура:

User-agent: <бот>
Disallow: <путь>
Allow: <путь>

Пример:

User-agent: *
Disallow: /admin/
Disallow: /cart/
Allow: /

Sitemap: https://example.com/sitemap.xml

User-agent

Что указывать:

  • * — все роботы.
  • Googlebot — только Google.
  • YandexBot — только Яндекс.
  • Bingbot — Bing.
  • GPTBot — OpenAI.
  • OAI-SearchBot — ChatGPT Search.

Правило: конкретный бот — для специальных правил.

Основные боты

Поисковые:

  • Googlebot — Google.
  • YandexBot — Яндекс.
  • Bingbot — Bing.
  • Mail.Ru_Bot — Mail.ru.
  • Applebot — Apple / Siri.

AI-боты:

  • GPTBot — OpenAI обучение.
  • ChatGPT-User — ChatGPT.
  • OAI-SearchBot — ChatGPT Search.
  • ClaudeBot — Anthropic.
  • PerplexityBot — Perplexity.
  • Google-Extended — Google AI.
  • CCBot — Common Crawl.

Правило: разделять поисковых и AI.

Disallow

Что закрывают:

  • Админку — /admin/.
  • Корзину и чекаут — /cart/, /checkout/.
  • Личный кабинет — /account/.
  • Поиск по сайту — /search/.
  • Параметры — /*?sort=, /*?filter=.
  • Служебные — /api/, /login/.
  • Тестовые — /test/, /tmp/.
  • Дубли пагинации — /*?page=.

Правило: не закрывать важные для SEO.

Что НЕ закрывать

Частые ошибки:

  • CSS — /css/.
  • JS — /js/.
  • Картинки — /images/.
  • Каталог — /catalog/.
  • Товары — /product/.
  • Статьи — /blog/.

Почему: если закрыть CSS/JS — Google может не отрендерить страницу.

Правило: проверять после каждого изменения.

Allow

Что разрешает:

  • Отменяет Disallow внутри.
  • Тонкая настройка.

Пример:

User-agent: *
Disallow: /catalog/
Allow: /catalog/smartfony/

Что происходит: весь каталог закрыт, кроме смартфонов.

Правило: Allow — внутри Disallow.

Порядок правил

Правило Яндекс и Google:

  • Самый длинный путь — приоритет.
  • Allow и Disallow равной длины — побеждает Allow.

Пример:

Disallow: /catalog/
Allow: /catalog/iphone/

Что происходит: /catalog/iphone/ разрешено, остальное закрыто.

Спецсимволы

* — любые символы:

Disallow: /*.pdf$

$ — конец URL:

Disallow: /*.php$

Пример:

Disallow: /*?utm_
Disallow: /*?sessionid=

Правило: осторожно со спецсимволами.

Crawl-delay

Что это: пауза между запросами.

User-agent: *
Crawl-delay: 10

Что означает: 10 секунд между обходами.

Что важно:

  • Google — игнорирует.
  • Яндекс — учитывает.
  • Bing — учитывает.

Правило: при проблемах с нагрузкой — указывать.

Clean-param

Только Яндекс. Убирает параметры из URL при обходе.

Clean-param: utm_source&utm_medium
Clean-param: sort&filter

Что даёт: параметры не создают дубли.

Правило: указывать топовые параметры.

Sitemap

Обязательно указывать:

Sitemap: https://example.com/sitemap.xml

Что даёт: робот сам находит карту.

Правило: в конце файла.

Host (устарел)

Раньше:

Host: example.com

Сейчас: не поддерживается. Только в Яндекс.Вебмастере.

Пример полного robots.txt

User-agent: *
Disallow: /admin/
Disallow: /cart/
Disallow: /checkout/
Disallow: /account/
Disallow: /search/
Disallow: /*?sort=
Disallow: /*?filter=
Disallow: /*?page=
Allow: /catalog/
Allow: /blog/
Clean-param: utm_source&utm_medium&utm_campaign

User-agent: YandexBot
Disallow: /admin/
Crawl-delay: 5

User-agent: Googlebot
Disallow: /admin/

User-agent: GPTBot
Disallow: /

User-agent: CCBot
Disallow: /

Sitemap: https://example.com/sitemap.xml

Что здесь:

  • Все закрыты от служебного.
  • Яндекс — с Crawl-delay.
  • AI-боты — полностью закрыты.
  • Sitemap.

Проверка

Инструменты:

  • GSC → Проверка robots.txt — что видит Google.
  • Вебмастер → Диагностика robots.txt.
  • Screaming Frog → Robots.txt.
  • Вручную — открыть в браузере.

Правило: проверять после каждого изменения.

Что важно в 2026

AI-боты:

  • GPTBot — решай: пускать или нет.
  • ClaudeBot.
  • PerplexityBot.
  • Google-Extended.

Варианты:

  • Пускать — попадать в ответы ИИ.
  • Закрывать — защищать контент.

Правило: осознанно решать, не по умолчанию.

Практика

1. Откройте свой robots.txt.

2. Проверьте, что закрыто.

3. Уберите лишнее (CSS, JS, картинки).

4. Добавьте служебное (admin, cart).

5. Укажите Sitemap.

6. Добавьте Clean-param для Яндекса.

7. Решите про AI-ботов.

8. Проверьте через GSC и Вебмастер.

Частые ошибки

1. Закрыт CSS/JS:

Google не рендерит

Решение: открыть.

2. Закрыт весь сайт:

Disallow: /

Решение: проверить.

3. Нет Sitemap:

Робот не находит карту

Решение: указать.

4. Файл в подпапке:

Не работает

Решение: только в корне.

5. Опечатки:

Disalow вместо Disallow

Решение: проверить.

6. Не закрыли админку:

Краулится

Решение: закрыть.

7. Crawl-delay для Google:

Игнорирует

Решение: только для Яндекса.

8. Не проверять после изменений:

Сломать индекс

Решение: GSC / Вебмастер.

Итог

  • Robots.txt — в корне.
  • Не защита, а рекомендация.
  • User-agent, Disallow, Allow, Sitemap.
  • Не закрывать важное (CSS, JS, каталог).
  • Закрывать служебное (admin, cart, search).
  • Allow — внутри Disallow.
  • Crawl-delay — для Яндекса.
  • Clean-param — только Яндекс.
  • Sitemap — обязательно.
  • AI-боты — осознанно.
  • Проверять через GSC и Вебмастер.

Дальше — Disallow и Allow: правила и синтаксис.