Урок 05

Noindex и nofollow

Основы

Noindex — запретить индексацию. Nofollow — запретить передачу веса по ссылке.

Отличие от robots.txt:

  • Robots.txt — не обходить.
  • Noindex — не индексировать.
  • Nofollow — не учитывать ссылку.

Правило: три разных инструмента для разных задач.

Способы noindex

1. Мета-тег:

<meta name="robots" content="noindex">

2. Мета-тег для бота:

<meta name="googlebot" content="noindex">
<meta name="yandex" content="noindex">

3. HTTP-заголовок:

X-Robots-Tag: noindex

Работает для: PDF, картинок, видео.

4. Через robots.txt:

Disallow: /

⚠️ Это не noindex! Робот может проиндексировать URL без контента.

Мета-тег robots

Основные значения:

<meta name="robots" content="index, follow">
<meta name="robots" content="noindex, follow">
<meta name="robots" content="index, nofollow">
<meta name="robots" content="noindex, nofollow">

Что означает:

  • index — индексировать.
  • noindex — не индексировать.
  • follow — идти по ссылкам.
  • nofollow — не идти.

Правило: по умолчанию index, follow.

Дополнительные значения

<meta name="robots" content="noarchive">
<meta name="robots" content="nosnippet">
<meta name="robots" content="noimageindex">
<meta name="robots" content="notranslate">
<meta name="robots" content="max-snippet:50">
<meta name="robots" content="max-image-preview:large">

Что делают:

  • noarchive — не показывать в кеше.
  • nosnippet — без сниппета.
  • noimageindex — не индексировать картинки.
  • notranslate — не предлагать перевод.

Когда использовать noindex

Страницы:

  • Страница спасибо / thank you.
  • Страница авторизации.
  • Регистрация.
  • Личный кабинет.
  • Корзина.
  • Результаты поиска.
  • Пагинация (если дубли).
  • Тестовые страницы.
  • Устаревшие статьи (иногда).

Правило: всё, что не должно быть в поиске.

Noindex vs robots.txt

Разница:

  • Noindex — робот заходит, но не индексирует.
  • Robots.txt — робот не заходит.

Комбинация:

  • Не ставить оба.
  • Если в robots.txt — робот не увидит noindex.
  • Правильно: только noindex, если хотите убрать из индекса.

Правило: для удаления из индекса — noindex. Robots не поможет.

HTTP-заголовок

Для не-HTML:

X-Robots-Tag: noindex
X-Robots-Tag: noindex, nofollow
X-Robots-Tag: googlebot: noindex

Где использовать:

  • PDF.
  • Изображения.
  • Видео.
  • API.
  • Динамический контент.

В Nginx:

location ~* \.pdf$ {
    add_header X-Robots-Tag "noindex";
}

В Apache:

<FilesMatch "\.pdf$">
    Header set X-Robots-Tag "noindex"
</FilesMatch>

Nofollow

Атрибут на ссылке:

<a href="https://spam.com" rel="nofollow">Ссылка</a>

Что делает: не передаёт вес.

Значения rel:

  • nofollow — не передавать вес.
  • sponsored — реклама.
  • ugc — контент пользователей.
  • noopener — безопасность.
  • noreferrer — не передавать referrer.

Комбинации rel

<a href="..." rel="nofollow noopener">...</a>
<a href="..." rel="sponsored noopener">...</a>
<a href="..." rel="ugc nofollow">...</a>

Правило: несколько значений через пробел.

Когда nofollow

Внешние ссылки:

  • Реклама — sponsored.
  • Партнёрские — sponsored.
  • Сомнительные — nofollow.
  • Контент пользователей — ugc.

Внутренние ссылки:

  • Страницы логина, регистрации.
  • Мусорные ссылки.
  • Сквозные в футере (иногда).

Правило: внутренние ссылки почти всегда без nofollow — они передают вес.

Мета nofollow

<meta name="robots" content="nofollow">

Что делает: все ссылки на странице не передают вес.

Когда:

  • Страницы с UGC без модерации.
  • Комментарии.
  • Форумы.

Правило: редко нужно, лучше точечно.

Noindex + canonical

Комбинация:

<link rel="canonical" href="https://example.com/main">
<meta name="robots" content="noindex">

Что происходит:

  • Google — учитывает canonical.
  • Яндекс — может учитывать noindex.

Правило: не использовать оба одновременно. Только один.

Удаление из индекса

Как убрать страницу:

  1. Добавить noindex.
  2. Подождать обхода (дни–недели).
  3. Проверить удаление.

Через GSC:

  • Удаления → Новый запрос.
  • Временно (6 месяцев) или навсегда.

Яндекс:

  • Вебмастер → Удаление страниц.

Правило: без noindex удаление из GSC/Вебмастера — временное.

Типичные сценарии

Интернет-магазин:

<!-- Страница thanks -->
<meta name="robots" content="noindex, follow">

<!-- Фильтры с параметрами -->
<meta name="robots" content="noindex, follow">

<!-- Отзывы без модерации -->
<meta name="robots" content="noindex, nofollow">

Блог:

<!-- Внутренний поиск -->
<meta name="robots" content="noindex, follow">

<!-- Архивы по дате -->
<meta name="robots" content="noindex, follow">

<!-- Комментарии с ссылками -->
<a href="..." rel="ugc nofollow">...</a>

Практика

1. Проверь свои страницы:

site:example.com

2. Найди лишние в индексе:

  • Страницы логина.
  • Корзина.
  • Результаты поиска.

3. Добавь noindex.

4. Проверь внешние ссылки — есть ли реклама без sponsored?

5. Настрой X-Robots-Tag для PDF.

6. Подожди обход.

7. Проверь удаление.

Частые ошибки

1. noindex + robots.txt:

Робот не видит noindex

Решение: только noindex.

2. noindex на важных:

Трафик падает

Решение: проверить.

3. Nofollow на внутренних:

Вес не передаётся

Решение: без nofollow.

4. Nofollow на всех внешних:

Неестественно

Решение: точечно.

5. noindex + canonical:

Конфликт

Решение: что-то одно.

6. Реклама без sponsored:

Штраф

Решение: указать.

7. Забыть про X-Robots-Tag:

PDF в индексе

Решение: добавить.

8. Не проверять результат:

Страница остаётся

Решение: GSC / Вебмастер.

Итог

  • Noindex — не индексировать.
  • Nofollow — не передавать вес.
  • Разные инструменты.
  • Не совмещать noindex и robots.txt.
  • X-Robots-Tag — для не-HTML.
  • nofollow — точечно.
  • sponsored для рекламы.
  • ugc для пользовательского.
  • Удаление — через noindex.
  • Проверка — GSC / Вебмастер.

Дальше — Sitemap.xml: зачем нужен.