robots.txt и sitemap.xml — два служебных файла, с которых поисковый робот начинает знакомство с сайтом. Первый говорит, куда роботу ходить не нужно, второй — какие страницы существуют и когда они обновлялись. Настройка занимает час, а ошибки в этих файлах способны убрать сайт из выдачи целиком.
robots.txt: правила для роботов
Это текстовый файл в корне сайта с директивами: User-agent задаёт, к какому роботу относятся правила, Disallow закрывает разделы от обхода, Allow открывает исключения, Sitemap указывает путь к карте сайта. Обычно закрывают служебные разделы: админку, корзину, страницы поиска, личный кабинет, технические параметры.
Важно понимать: robots.txt — это просьба не сканировать, а не гарантия отсутствия в выдаче. Если на закрытую страницу ведут ссылки, она может попасть в индекс без содержимого. Для надёжного исключения используют метатег noindex.
Главная ошибка robots.txt
Классика: Disallow: / — полный запрет обхода, оставшийся со времён разработки. Сайт запускают, а файл забывают обновить, и поисковики неделями не могут его сканировать. Проверка robots.txt должна быть обязательным пунктом чек-листа запуска любого сайта и любого редизайна.
sitemap.xml: карта сайта для роботов
Sitemap — это XML-файл со списком адресов страниц и датами их изменения. Он не влияет на позиции, но помогает роботу находить страницы, до которых далеко идти по ссылкам, и быстрее замечать обновления. Особенно важен для больших каталогов и сайтов с глубокой вложенностью.
В карту включают только канонические страницы с кодом 200, открытые для индексации. Страницы с редиректами, ошибками и noindex в sitemap — сигнал поисковику, что карте нельзя доверять.
Генерация и поддержка
Карту сайта нужно обновлять автоматически: почти любая CMS умеет это сама или через плагин. Статичный файл, собранный один раз вручную, устаревает в первый же месяц. Для крупных сайтов карту разбивают на несколько файлов с индексным sitemap сверху.
Как проверить оба файла
В панелях вебмастера есть инструменты проверки: они покажут, какие правила robots.txt применяются к конкретному адресу и какие ошибки найдены в sitemap. После любых изменений структуры сайта стоит перепроверять оба файла — они ломаются незаметно.
Коротко
Эти два файла — минимальная гигиена технического SEO: настраиваются быстро, а стоят дорого, если про них забыть. Мы проверяем robots.txt и sitemap.xml в каждом техническом аудите и настраиваем их на всех сайтах, которые разрабатываем.