robots.txt, карта сайта и Search Console без головной боли
· Обновлено · 2 мин чтения
Эти три вещи определяют, увидит ли Google ваши страницы вообще. Настройка занимает полчаса, а ошибки здесь самые дорогие.
Что robots.txt делает и чего не делает
robots.txt сообщает поисковым роботам, какие части сайта не обходить. Важно: он управляет сканированием, а не индексацией. Страница, закрытая в robots.txt, всё равно может появиться в выдаче, если на неё есть ссылки. Чтобы запретить индексацию, используйте тег noindex, а страница должна быть доступна, чтобы робот его увидел.
Простой правильный пример:
- User-agent: *
- Disallow: /admin/
- Sitemap: https://vash-sait.ru/sitemap.xml
Никогда не оставляйте «Disallow: /» после запуска: это классическая ошибка, когда тестовая версия переносится на боевой сайт.
Что включать в sitemap.xml
В карте должны быть только адреса, которые вы хотите видеть в поиске: канонические, отвечающие кодом 200, без noindex. Один файл вмещает до 50 000 адресов или 50 МБ, больше разбивайте на несколько.
Поля priority и changefreq Google игнорирует, а lastmod учитывает, только когда он отражает реальные изменения. Для многоязычных сайтов добавьте ссылки hreflang.
Search Console: что сделать сразу
Подтвердите домен (записью DNS), отправьте sitemap.xml и посмотрите отчёт «Страницы». Главный инструмент — «Проверка URL»: он показывает, видит ли Google страницу, какой канонический адрес выбрал и есть ли проблемы.
Частые проблемы индексации
«Обнаружена, но не проиндексирована» часто указывает на слабый или повторяющийся контент либо отсутствие внутренних ссылок. «Просканирована, но не проиндексирована» означает, что Google увидел страницу, но не счёл её достаточно полезной. Помогают уникальный контент, внутренние ссылки с сильных страниц и более быстрая загрузка: см. /ru/blog/skorost-sayta-core-web-vitals/.
Проверка после изменений
После правки robots.txt или карты проверьте их в браузере и в Search Console. Бесплатный аудит на этом сайте также проверяет robots.txt, sitemap, канонические адреса и noindex. Общий план в /ru/blog/seo-audit-besplatno/.
Частые вопросы
Не пускает ли robots.txt страницу в Google?
Не всегда. Он блокирует сканирование, но адрес всё равно может появиться без описания. Для запрета индексации используйте noindex.
Обязателен ли sitemap.xml?
Нет, но он помогает Google быстрее находить страницы, особенно на новом или большом сайте.
Как быстро Google проиндексирует новую страницу?
От нескольких часов до нескольких недель. Ускоряют внутренние ссылки и запрос в «Проверке URL».