Почему Google не индексирует страницы сайта: 11 причин и решения

Ситуация знакома каждому вебмастеру: страницы опубликованы, контент уникальный, robots.txt чистый — а трафика с Google нет. В Search Console отчёт «Статус индексирования» показывает десятки URL со статусами «Не обнаружена» или «Обошла — не проиндексировала». Разберём, как вообще работает индексация, какие 11 причин чаще всего стоят между вашим контентом и выдачей — и где на этом пути подключается AGD Index: часть проблем закрывает чек-лист, а обход исправленных страниц ускоряют визиты ботов.

Как Google решает, что индексировать

Индексация — трёхступенчатый процесс:

1. Обнаружение (discovery) — Google узнаёт о существовании URL: из sitemap, внешних и внутренних ссылок, данных Chrome.
2. Обход (crawl) — Googlebot приходит на страницу и скачивает содержимое.
3. Включение в индекс (indexing) — алгоритм оценивает качество и решает, добавить ли страницу в базу выдачи.

Ключевое понимание: обход не гарантирует индексацию. Вы можете хоть каждый день водить бота за руку на страницу — финальное решение принимает алгоритм оценки качества. Поэтому все причины делятся на две группы: URL не доходит до обхода, и URL обходится, но отклоняется.

Причины первой группы: страница не доходит до обхода

1. Новый сайт без внешних ссылок

У домена возрастом в неделю нет ни ссылок, ни истории обхода. Google узнаёт о сайте из sitemap, но ставит его в низкоприоритетную очередь. Это нормально: первые недели самый медленный период жизни сайта.

Решение: отправьте sitemap в Search Console, проставьте ссылки на новый сайт из своих других ресурсов и профилей, при форс-событиях (запуск, важная публикация) — отправьте ключевые URL визитами ботов, чтобы стартовый обход не растягивался на недели.

2. Блокировки: robots.txt, noindex, canonical

Самая частая причина — и самая обидная, потому что исправляется за минуты: Disallow в robots.txt, мета-тег noindex, заголовок X-Robots-Tag или canonical на другой адрес. Галочка «Попросить поисковые системы не индексировать сайт» в WordPress, забытый со staging, закрывает весь сайт целиком.

Решение: пошаговая диагностика всех четырёх уровней блокировок — в отдельном гайде Robots.txt и noindex.

3. Слабая внутренняя перелинковка

Страница, на которую не ведёт ни одна ссылка с сайта («сирота»), может вообще не попасть в sitemap и в очереди обхода. Глубина вложенности тоже важна: страница на 6 кликов от главной обходится на порядок реже страницы из главного меню.

Решение: сверьте список «важных URL» с фактами: на каждую страницу должны вести 1–3 внутренних ссылки с релевантных страниц, свежие публикации — с главной или из категорий.

4. Ограниченный crawl budget

Google выделяет каждому сайту бюджет обхода — сколько URL в день робот готов скачивать. На больших сайтах с тысячами URL (фильтры, теги, пагинация, фид-страницы) бюджет съедается мусорными страницами, а до важных руки бота не доходят.

Решение: закройте от обхода генеративный мусор (страницы фильтров с параметрами, внутренний поиск, архивы по датам), держите sitemap чистым — только канонические URL, следите за временем ответа сервера: медленный сервер = меньше страниц в день.

5. Технические ошибки загрузки

Ошибки 5xx, вечные 301-цепочки, JS-рендеринг, без которого контент не появляется: Googlebot рендерит JavaScript во вторую очередь, и страница, вся суть которой собирается скриптами, может месяцами обходиться «пустой».

Решение: Search Console → «Статус индексирования» → смотрите причины «Ошибка при получении данных» / «Ошибка перенаправления». Проверяйте страницу «как Googlebot» (Проверка URL → Протестировать отображение). Критичный контент должен быть в HTML без ожидания рендеринга.

Причины второй группы: страница обходится, но отклоняется

6. Контент «тонкий» или дублированный

«Почему Google не индексирует страницы с уникальным контентом?» — частый вопрос, и в нём путаются два понятия. Уникальность (текст не скопирован) и качество (контент полезен и отличим) — не одно и то же. Уникальный текст на 300 слов о товаре, который описывают десять тысяч магазинов, для алгоритма почти неотличим от шаблонного. Достаточности нет: нет экспертности, структуры, ответов на вопросы пользователя.

Признаки «тонких» страниц: короткие описания, автогенерированные тексты, страницы-агрегаторы без собственной ценности, копии с небольшими изменениями.

Решение: усиливайте страницу, а не отправляйте её повторно: расширьте контент, добавьте структуру (таблицы, FAQ), уникальные данные, опыт. Повторные визиты ботов на слабую страницу дадут статус «Обошла — не проиндексировала» снова и снова.

7. Дубли и canonical не по назначению

Похожие страницы внутри сайта конкурируют между собой: версии с www/без, http/https, со слешем/без, с UTM-параметрами, печатные версии. Google сам выбирает каноническую версию — и часто не выбирает вашу.

Решение: один канонический адрес для каждой сущности, 301-редиректы с дублей, самоссылающийся canonical на главной версии, чистые URL в sitemap.

8. Soft 404 и «пустые» страницы

Страница отвечает 200 OK, но по сути пустая: «Товар не найден», категория без товаров, страница без контента. Google помечает их как soft 404 и не индексирует.

Решение: отдавайте честный 404/410 для несуществующего, не оставляйте пустые категории в навигации и sitemap.

9. Сайт под ручными мерами или санкциями алгоритма

При ручных мерах (Manual Actions в Search Console) новые страницы могут перестать индексироваться целиком. Причём уведомление приходит не всегда очевидно — проверьте раздел «Проблемы с безопасностью и ручные меры».

Решение: устранить причину (обычно — покупные ссылки или мусорный контент), подать запрос на пересмотр.

10. Google просто не успел

Для сайтов со средним рейтингом обход и оценка могут занимать от нескольких дней до нескольких недель. Не каждая неиндексированная страница — проблема: иногда это очередь.

Решение: дайте странице 1–2 недели после публикации; форсируйте важные URL («Проверка URL» или визиты ботов), следите за динамикой в отчёте.

11. «Crawled — currently not indexed» как отдельный случай

Самый загадочный статус: Google пришёл, посмотрел и решил не включать. Массово встречается у программных страниц и молодых сайтов. У этого статуса своя логика диагностики — мы разобрали её отдельно: Crawled — currently not indexed: что делать.

Диагностика за 15 минут: план

1. Откройте Search Console → отчёт «Статус индексирования» (Page indexing).
2. Посмотрите разбивку по причинам: сколько URL «Не обнаружено», сколько «Заблокировано», сколько «Обошла — не проиндексировала».
3. Возьмите 3–5 конкретных URL из самой большой группы.
4. Прогоните каждый через «Проверку URL»: блокировки, canonical, рендеринг, статус последнего обхода.
5. Сверьте с чек-листом этой статьи — 90% случаев закрываются причинами 1–7.

Когда визиты ботов реально помогают

Сервисы вроде AGD Index ускоряют первую и вторую ступень — обнаружение и обход: реальный Googlebot приходит на URL из вашего списка и ставит страницу в очередь оценки. Это работает, когда:

• страница технически чиста (200 OK, без noindex, canonical корректен);
• контент достаточно качественный, чтобы пройти оценку;
• объём большой — сотни URL, для которых ручной «запрос индексирования» упирается в квоты.

Не работает, когда причина в блокировках или качестве: сначала чините страницу, потом форсируйте обход. Честный сервис индексации скажет вам то же самое.

Часто задаваемые вопросы

Google не индексирует страницы с уникальным контентом — почему?

Уникальность — необходимое, но не достаточное условие. Google оценивает полезность: глубину, структуру, экспертность, отличимость от тысяч похожих страниц. Короткий уникальный текст без собственной ценности классифицируется как «тонкий контент» и отклоняется на ступени оценки.

Сколько ждать индексации новой страницы?

От нескольких часов (трастовый сайт + запрос индексирования) до нескольких недель (новый домен без ссылок). Медиана для обычных сайтов — 2–7 дней после обхода.

Помогает ли карта сайта, если страницы не индексируются?

Sitemap помогает обнаружить URL, но не форсирует обход и не влияет на решение об индексации. Это базовый слой, который должен быть, но чудес от него ждать не стоит.

Можно ли заставить Google проиндексировать страницу?

Форсировать можно обход (запрос индексирования в GSC, визиты ботов), но не включение в индекс — финальное решение всегда за алгоритмом. Сервисы, «гарантирующие индексацию», лукавят.

Все страницы разом выпали из индекса — что случилось?

Массовое выпадение — почти всегда техническая причина: закрылся robots.txt (Disallow: /), слетел noindex на весь сайт, сайт стал отдавать 5xx, истёк домен/SSL. Проверяйте в порядке: доступность сайта → robots.txt → meta robots → Search Console уведомления.

Визиты ботов как-то влияют на ранжирование?

Нет. Визит бота ускоряет обнаружение и обход страницы. Ранжирование — отдельная конкуренция контента и ссылок. Никакой «накачки ботами» позиций не существует.

Что дальше

• Проверьте блокировки по гайду Robots.txt и noindex.
• Разберите статус Crawled — currently not indexed.
• Чистые URL готовы к отправке — тарифы визитов ботов Google и Bing.