Файл robots.txt и карта сайта

Что показывает такая проверка

Представьте, что ваш сайт — это магазин. Файл robots.txt — это охранник у входа, который решает, куда пускать посетителей, а куда нет. Карта сайта (sitemap.xml) — это бумажный план здания, который вы вручаете каждому гостю, чтобы он не блуждал и точно нашёл нужный отдел.

Хотите понять, относится ли это к вашему сайту?Проверим сайт и вернёмся с коротким планом.

Получить аудит

Оба файла решают одну задачу: помочь Яндексу правильно разобраться в вашем сайте. Но делают это по-разному.

Robots.txt — это текстовый файл, который лежит в корне сайта по адресу ваш-сайт.ru/robots.txt. В нём вы пишете инструкции для поискового робота: какие страницы можно сканировать, а какие лучше не трогать. Например, служебные страницы админки, корзину, страницы с отфильтрованными товарами или дубликаты.

Карта сайта — это файл в формате XML, где перечислены все важные страницы вашего сайта. По сути, это структурированный список адресов, который говорит Яндексу: «Вот мои страницы, пожалуйста, их все посмотри и добавь в поиск».

Почему это вообще имеет значение для владельца бизнеса? Потому что если Яндекс не видит ваши страницы, он не покажет их в поиске. А если он тратит время на мусорные страницы, то полезные будет индексировать медленнее. На сайтах с небольшим бюджетом это особенно заметно — каждый ресурс робота на счету.

Практические особенности и варианты применения

Начнём с robots.txt. Для типичного сайта услуг или небольшого интернет-магазина файл обычно занимает несколько строк. Вот что там должно быть обязательно:

Указание на то, что робот Яндекса может сканировать сайт (директива User-agent: Yandex, затем Allow: /).
Закрытие служебных разделов: страниц корзины, личного кабинета, админки, результатов поиска по сайту, страниц фильтров и сортировок.
Указание пути к карте сайта (Sitemap: https://ваш-сайт.ru/sitemap.xml).

Важный момент: если вы закрываете какую-то страницу в robots.txt, Яндекс не удалит её из поиска мгновенно. Но и новую закрытую страницу он индексировать не будет. Это полезно, когда на сайте появляются технические страницы, которые не несут пользы для клиента.

Теперь про карту сайта. Она формируется автоматически большинством CMS — WordPress, Битрикс, Joomla. Но автоматически — не значит правильно. Что стоит проверить:

Бесплатный SEO-аудит

Покажем, что мешает сайту расти

Проверим структуру, индексацию, посадочные страницы и первые точки роста. После заявки можно перейти в Telegram с уже заполненным контекстом.

Получить аудит

В карте только те страницы, которые реально нужны клиентам: услуги, товары, статьи, контакты, разделы каталога.
Нет страниц с ошибками 404 — они туда иногда попадают, если товар удалили, а карту не обновили.
Нет дублей: одна и та же страница не должна встречаться с разными адресами (например, со слешем на конце и без).
Файл доступен по адресу ваш-сайт.ru/sitemap.xml и открывается в браузере как XML-код.

После того как файлы настроены, карту сайта нужно добавить в Яндекс.Вебмастер. Это делается в разделе «Индексирование» → «Файлы Sitemap». Там же видно, сколько страниц из карты Яндекс уже знает, а сколько ещё в очереди. Если вы добавили карту, а число известных страниц не растёт несколько недель — это повод разобраться в причинах.

Как проверить, что всё работает

Откройте Яндекс.Вебмастер и посмотрите два показателя: «Исключённые страницы» и «Страницы в поиске». Если в исключённых страницах много полезных URL — скорее всего, они закрыты в robots.txt или есть другие технические проблемы. Если страниц в поиске сильно меньше, чем на сайте — возможно, карта сайта не добавлена или содержит ошибки.

Ошибки, ограничения и что учитывать на практике

Самая опасная ошибка в robots.txt — случайно закрыть весь сайт. Это происходит, когда пишут Disallow: / вместо того, чтобы закрыть конкретный раздел. Результат: Яндекс перестаёт видеть сайт целиком. Заявки из поиска исчезают. Если вы не следите за позициями, можете заметить проблему только через месяц, когда продажи упадут.

Ещё одна частая ситуация: в robots.txt закрыты важные страницы. Например, подрядчик закрыл раздел «Цены» или страницы отдельных услуг, потому что посчитал их не важными. Проверить это просто — откройте robots.txt и прочитайте его. Там нет ничего сложного, формат понятен даже без технического образования.

С картой сайта тоже бывает сюрприз. Некоторые плагины формируют карту, в которой тысячи страниц фильтров или страниц пагинации (вторая, третья, десятая страница каталога). Яндекс получает огромный список мусора и тратит на него ресурс вместо того, чтобы индексировать реальные страницы. Если в вашей карте сайта больше страниц, чем реально существует на сайте — это тревожный сигнал.

Несколько ограничений, о которых стоит знать:

Robots.txt — это рекомендация, а не жёсткий запрет. Яндекс обычно следует инструкциям, но если на закрытую страницу ведёт много ссылок с других сайтов, она всё равно может попасть в индекс.
Карта сайта не гарантирует индексацию. Она лишь говорит Яндексу, где искать страницы. Если сами страницы некачественные — с пустым текстом, дублированным контентом или ошибками — Яндекс может их не взять.
В карте сайта не должно быть больше 50 000 URL. Для большинства небольших сайтов это не проблема, но если вы выгрузили туда все вариации товаров — легко упереться в лимит.

На что обращать внимание при работе с подрядчиком. Если вам говорят, что рост позиций начнётся только после «правильной настройки robots.txt и sitemap» — это преувеличение. Эти файлы важны, но сами по себе не дают трафик. Они убирают технические преграды, чтобы остальные работы по продвижению имели смысл. Если сайт не индексируется из-за ошибки в robots.txt — исправление действительно даст быстрый эффект. Но если файлы в порядке, а заявок нет — проблема в другом: в контенте, в конкуренции, в качестве страниц.

С чего начать прямо сейчас. Откройте ваш-сайт.ru/robots.txt и прочитайте его. Закрыт ли там весь сайт? Есть ли ссылка на sitemap? Затем откройте ваш-сайт.ru/sitemap.xml и посмотрите, нет ли там очевидного мусора. Наконец, зайдите в Яндекс.Вебмастер и проверьте, добавлена ли карта и нет ли ошибок при её чтении. Эти три шага занимают десять минут, но часто объясняют, почему часть сайта просто не участвует в поиске.