
Коротко
- Индексация сайта — это добавление его страниц в базу поисковой системы (индекс), из которой формируется выдача. Пока страницы в индексе нет, показать её по запросу нельзя.
- Проверить индексацию можно за 5 минут: в Яндекс Вебмастере (проверка статуса URL), в Google Search Console (инструмент проверки URL) или оператором site: на небольшом сайте.
- Ускорение индексации даёт карта сайта, переобход в Вебмастере, запрос индексирования в Search Console, внутренняя перелинковка и IndexNow. Гарантий сроков не даёт ни один из этих способов.
- Чаще всего страницы выпадают из поиска из-за robots.txt, noindex, дублей и неверных кодов ответа. Не все страницы сайта обязаны быть в индексе.
- Если ключевые страницы не индексируются заметно дольше обычных сроков, а причины в отчётах не видны, или вы готовите редизайн и переезд, задачу разумно отдать специалисту.
Индексация сайта простыми словами
Индексация сайта — это процесс, в котором поисковые системы добавляют страницы в свою базу, она называется индексом. Именно из этой базы собирается выдача. Пока страницы в индексе нет, поисковик не может показать её ни по одному запросу.
Это первый шаг, но не последний. Путь страницы к клиенту состоит из трёх стадий, и застрять она может на любой. Google описывает их как сканирование, индексирование и показ результатов поиска (руководство по принципам работы Google Поиска). Если проще: поисковые роботы нашли и загрузили страницу, поисковик решил добавить её в базу, и только потом алгоритм выбирает, кому и на какой позиции её показать.
| Стадия | Что происходит | Где обычно застревает | Где смотреть |
|---|---|---|---|
| Обход (сканирование) | Робот находит страницу по ссылке или из sitemap и загружает её | Закрыта в robots.txt, на неё нет ссылок, сервер не отвечает | Статистика обхода в Яндекс Вебмастере |
| Индексация | Поисковик решает, добавлять ли страницу в базу | noindex, дубль, ответ 404, малоценное содержимое | Страницы в поиске в Вебмастере, отчёт об индексировании в Search Console |
| Показ и ранжирование | Алгоритм выбирает, какие страницы показать по запросу и в каком порядке | Страница нерелевантна запросу или слабее конкурентов по качеству | Позиции и трафик по запросам |
Разделять стадии нужно потому, что причины и действия у них разные. Если страница не обходится, чинят доступ и ссылки. Если обошлась, но в индекс не попала, ищут noindex, дубли и ошибки сервера. Если в индексе, а трафика нет, это уже вопрос содержания страницы, а не техники.
Частая ошибка — лечить третью проблему средствами первой: в десятый раз отправлять на переобход страницу, которая давно в индексе, но по запросам не показывается.
Три вещи, которые полезно знать сразу
- Google не гарантирует, что сайт будет просканирован, проиндексирован и показан, даже если он соответствует всем рекомендациям. Яндекс сроков тоже не обещает.
- Google не взимает плату за более частое сканирование или повышение позиций. Платно «ускорить индексацию» в Google нельзя.
- Проиндексированная страница не обязана показываться. Google называет причины: нерелевантность запросу, низкое качество контента или запрет в мета-теге robots.
Как ускорить индексацию сайта
Ускорить индексацию сайта можно, но заставить поисковик проиндексировать страницу нельзя. Все способы ниже только сообщают роботу, что страница есть или изменилась. Решение остаётся за поисковиком.
| Способ | Что делает | Что не гарантирует |
|---|---|---|
| Sitemap | Даёт роботу список ссылок на внутренние страницы в формате XML | Что все страницы из файла попадут в индекс |
| Переобход страниц в Вебмастере | Просит робота зайти на конкретные страницы | Что страница будет проиндексирована; лимиты индивидуальны |
| IndexNow | Сообщает об изменениях, не дожидаясь обхода | Что переданные страницы будут проиндексированы |
| Внутренние и внешние ссылки | Помогают роботу найти страницу | Скорость и решение об индексации |
Карта сайта (Sitemap)
Карта сайта — это список ссылок на внутренние страницы сайта в формате XML. Добавьте его в Яндекс Вебмастер и Search Console и укажите директиву Sitemap в robots.txt. Лимит длины URL в файле — 2048 символов, из них 1024 на доменное имя и 1024 на путь.
Сроки Яндекса: добавленный файл робот загружает в течение двух недель, а проиндексированные страницы из него появляются в результатах поиска тоже в течение двух недель (справка Яндекса о Sitemap). Обход файла можно ускорить до 10 раз для одного хоста, следующая попытка доступна через 30 дней после первой.
Переобход в Вебмастере
Инструмент подходит для точечных случаев: опубликовали новую страницу услуги или исправили ошибку. Лимиты на число страниц у каждого сайта свои, актуальное значение показывает сам инструмент. Отправлять на переобход весь сайт каждый день бессмысленно.
IndexNow
Протокол IndexNow позволяет сообщать об изменениях, не дожидаясь обхода роботом. Яндекс предупреждает, что способ не гарантирует индексацию, и просит сообщать только о новых, изменившихся или удалённых страницах. Для небольшого сайта с несколькими страницами Яндекс предлагает использовать переобход в Вебмастере (справка Яндекса об IndexNow). Google этот протокол не использует.
Запрос индексирования в Search Console
В Google аналог переобхода — инструмент проверки URL с кнопкой запроса индексирования. Google предупреждает, что запрос не гарантирует попадание страницы в индекс, для отдельных URL действуют квоты, а повторные запросы не ускоряют сканирование (справка Google о повторном сканировании). Отправляйте только новые страницы и страницы после серьёзных правок. Если страниц много, обновите карту сайта: так Google узнает обо всех изменениях сразу.
Внутренняя перелинковка и качественный контент
Надёжный способ показать роботу новую страницу — поставить на неё ссылку с уже проиндексированной: из меню, раздела услуг или статьи. Ссылки с других сайтов тоже помогают найти страницу. Ещё один канал обнаружения — обход по счётчику Яндекс Метрики, его настройки смотрите в Вебмастере.
Внутренняя перелинковка работает и дальше: чем больше полезных ссылок ведёт на страницу, тем чаще поисковые роботы на неё заходят. Но ссылки только приводят робота. Решение об индексации зависит от самой страницы: качественный контент, который отвечает на запрос лучше дублей и шаблонных страниц, попадает в индекс охотнее. Google прямо пишет, что прежде всего включает в индекс качественный и полезный контент.
Скорость загрузки и ответ сервера
Скорость индексации зависит и от сервера. По справке Google, если сайт стабильно и быстро отвечает, лимит сканирования растёт, а если ответы замедляются или приходят с ошибками сервера, робот сканирует меньше (справка Google о краулинговом бюджете). Для небольшого сайта это редко главная причина, но медленный хостинг и частые ошибки 5xx заметно тормозят индексацию новых страниц у интернет-магазина с большим каталогом.
Как проверить индексацию за 5 минут
Проверить, есть ли сайт в поиске, можно без программиста: нужен доступ к сайту, чтобы подтвердить права в сервисах поисковиков. Если сайт ещё не добавлен в Яндекс Вебмастер и Google Search Console, начните с этого. Оба сервиса бесплатные, и оба понадобятся дальше при любой диагностике.
| Способ | Что покажет | Кому подходит |
|---|---|---|
| Яндекс Вебмастер: статистика обхода и страницы в поиске | Сколько страниц робот обошёл и сколько из них в поиске | Всем сайтам в Яндексе |
| Яндекс Вебмастер: проверка статуса URL | Состояние конкретной страницы: в поиске она или нет | Когда нужно проверить одну важную страницу |
| Google Search Console: инструмент проверки URL | Проиндексирован ли адрес в Google и как его видит робот | Точечная проверка страницы |
| Google Search Console: отчёт об индексировании страниц | Какие страницы проиндексированы, какие нет и по какой причине | Сайтам с сотнями страниц и больше |
Оператор site: в поиске | Примерный список страниц, которые поисковик знает | Небольшим сайтам, быстрая проверка |
Порядок проверки
- Откройте Яндекс Вебмастер, раздел индексирования. Посмотрите статистику обхода и список страниц в поиске. Если страниц в поиске ноль или их заметно меньше, чем на сайте, это сигнал.
- Вставьте в проверку статуса URL адреса ключевых страниц: главную, страницы услуг или категорий, цены, контакты. Вебмастер скажет, есть страница в поиске или нет, и что с ней не так.
- Повторите то же в Search Console через инструмент проверки URL.
- Для небольшого сайта введите в строку поиска
site:ваш-домен.ru. Это грубая проверка, но она быстро показывает, есть ли сайт в выдаче вообще.
Google отдельно отмечает: если на сайте меньше 500 страниц, отчёт об индексировании скорее всего не нужен, достаточно проверки через site: (справка Search Console). Если страниц больше, учтите: список примеров URL в отчёте ограничен 1000 адресов, поэтому весь большой сайт по нему не пересчитать.
Что считать нормой. Все ключевые страницы, то есть те, на которые вы хотите приводить клиентов, должны быть в индексе. Все остальные страницы быть там не обязаны, об этом ниже. Поэтому цель проверки не «найти все страницы», а убедиться, что в индексе главное.
Страниц нет в индексе: порядок действий
Если ключевая страница в поиске не найдена, не отправляйте её сразу на переобход. Сначала идите по списку от простого к сложному: так вы найдёте причину, а не спрячете её на время.
- Проверьте возраст сайта. Новому сайту или странице для сканирования и индексации может потребоваться около недели (справка Search Console). Если прошло два-три дня, это не авария.
- Откройте robots.txt по адресу
ваш-домен.ru/robots.txtи проверьте, нет ли там Disallow, который закрывает нужный раздел. Типичный случай: после разработки на тестовом сайте остался запрет на весь сайт. - Проверьте noindex. Он может стоять в мета-теге страницы или в HTTP-заголовке. Для этого достаточно проверки статуса URL в Вебмастере или Search Console: они сообщают о запрете индексации.
- Проверьте код ответа. Нужные страницы должны отдавать 200 OK. Если страница отвечает ошибкой или перенаправляет не туда, в индекс она не попадёт.
- Поищите дубли. Если то же содержимое доступно по нескольким адресам (с параметрами, со слэшем и без), поисковик выберет один, а остальные пропустит.
- Проверьте ссылки на страницу. Робот находит страницы по ссылкам. Если на страницу не ведёт ни одна внутренняя ссылка и её нет в sitemap, он может о ней не узнать.
Последний пункт упирается в структуру сайта: страницы, которые спрятаны глубоко или никуда не привязаны, находятся хуже всего. О том, как продумать связи между страницами, мы писали в статье про структуру сайта.
Нормально ли, что часть страниц не в индексе
Да. Google прямо пишет, что страницы с noindex, закрытые robots.txt, дубли и страницы с ошибкой 404 могут быть не проиндексированы по объективным причинам. То же логично для служебных страниц: корзины, личного кабинета, результатов внутреннего поиска. Беспокоиться стоит, когда в списке непроиндексированных оказались страницы, которые должны приводить клиентов.
И ещё одно правило из справки Google: индексация не гарантирует показ страницы в результатах поиска. Если страница в индексе, но по нужному запросу её нет в выдаче, причина уже в контенте и конкуренции, а не в индексации.
robots.txt и noindex: что ломает сайт чаще всего
Две частые причины, почему страницы «пропадают» из поиска, лежат в настройках, которые закрывают страницы от робота. Полезно один раз понять, чем они отличаются.
Disallow и noindex делают разное
Disallow в robots.txt запрещает роботу обходить страницу. Но Яндекс уточняет: страницы, ограниченные в robots.txt, могут участвовать в поиске. То есть Disallow не равен «убрать из выдачи». Чтобы удалить страницы из поиска, указывают noindex в HTML-коде или в HTTP-заголовке, при этом не ограничивая такие страницы в robots.txt (справка Яндекса о robots.txt).
Отсюда типичная ошибка «Disallow плюс noindex вместе»: владелец хочет закрыть двойным замком. Но справка требует не ограничивать такие страницы в robots.txt, иначе робот может не дойти до самой директивы. Выбирайте один механизм под задачу:
| Задача | Что делать |
|---|---|
| Не тратить время робота на служебный раздел | Disallow в robots.txt |
| Убрать страницу из поиска | noindex в коде или HTTP-заголовке, страница остаётся доступной для робота |
| Страницы больше нет | Отдавать для адреса код 404 |
Требования к файлу robots.txt
- Файл весит не более 500 КБ, лежит в корне сайта и отдаёт HTTP 200 OK.
- Поддерживаются директивы User-agent, Disallow, Allow, Sitemap и Clean-param.
- Кириллица в файле запрещена: для доменов используется Punycode.
- Если файл не соответствует требованиям, сайт считается открытым для индексирования.
Последний пункт неочевиден. Вы закрыли раздел, но файл лежит не в корне или отдаёт ошибку, и закрытые страницы могут попасть в индекс. После любой правки откройте robots.txt в браузере по прямому адресу и проверьте глазами.
Отдельный риск возникает при запуске и редизайне: тестовую версию закрывают от поиска, а при переносе на боевой домен запрет забывают снять. Сайт работает, а в Яндексе его нет. Проверка robots.txt и мета-тега robots должна входить в чек-лист запуска.
Дубли, canonical и коды ответа
Следующая группа причин техническая, но проверяется просто: дубли страниц и ответы сервера.
Дубли и параметры в адресах
Один и тот же текст может открываться по разным адресам: с UTM-метками, идентификатором сессии, параметрами сортировки. Для поисковика это разные URL. Яндекс отмечает, что большое количество cgi-параметров, повторяющихся вложенных директорий и слишком длинный URL могут ухудшить индексирование (рекомендации Яндекса по индексированию).
- В Яндексе параметры, не меняющие содержимое страницы (UTM, session), описывают директивой
Clean-paramв robots.txt. - В Google для этого задают каноническую версию: тег canonical указывает основной адрес.
- Одна страница должна открываться по одному адресу, остальные варианты лучше вести на него перенаправлением.
Коды ответа сервера
Робот ориентируется на код ответа, а не на то, что видит человек.
| Ситуация | Какой код нужен | Что будет, если ошибиться |
|---|---|---|
| Нужная страница работает | 200 OK | Страница рискует не попасть в индекс |
| Страницы не существует | 404 | Если сервер для несуществующих URL отдаёт 404, поисковая система удалит документ из индекса |
Обратная ситуация опаснее: рабочая страница из-за сбоя CMS отдаёт 404, и её убирают из поиска. Поэтому коды ответа ключевых страниц стоит проверять регулярно.
И одно ограничение Яндекса: документы больше 10 Мб не индексируются. Учитывайте это для тяжёлых файлов, которые должны находиться в поиске.
Краулинговый бюджет: нужен ли он вашему сайту
В статьях про индексацию часто советуют «оптимизировать краулинговый бюджет», и владельцу небольшого сайта кажется, что это нужно и ему. Обычно нет.
Краулинговый бюджет — это объём обхода сайта роботом. По справке Google, тема применима к сайтам от 1 млн страниц с еженедельными обновлениями или от 10 000 страниц с ежедневными. Если у вас сайт услуг, небольшой магазин или корпоративный сайт на десятки-сотни страниц, оптимизировать здесь нечего.
Если страницы не индексируются на таком сайте, причина почти всегда в другом: запрет в robots.txt, noindex, дубли, ошибки сервера, слабые внутренние ссылки или малоценное содержимое. Сначала пройдите порядок действий из третьего раздела.
Одно правило полезно и малым сайтам: не плодить бесконечные адреса. Фильтры с тысячами комбинаций параметров лучше закрыть в robots.txt или описать через Clean-param, как в справке Яндекса.
Когда пора отдать задачу специалисту
Добавить сайт в Вебмастер, отправить sitemap и проверить статус страницы владелец бизнеса может сам. Риск в другом: ошибочный Disallow в robots.txt, noindex на нужных страницах, дубли или сломанные коды ответа тихо убирают страницы из поиска. Заметно это бывает по упавшим заявкам. Оценить потери в цифрах без данных конкретного сайта нельзя, поэтому описываем риск словами.
Признаки, что пора звать специалиста
- Ключевые страницы не индексируются заметно дольше обычных сроков (у Google около недели, у Яндекса по sitemap до двух недель), хотя sitemap добавлен, а ссылки на страницы есть.
- Отчёты Вебмастера и Search Console показывают исключённые страницы, но причины неясны.
- Вы готовите редизайн, смену CMS или переезд на другой домен: проверку индексации стоит включить в план работ.
- На сайте много страниц с параметрами, фильтрами и дублями, и вручную в них не разобраться.
Что делает специалист
Диагностика начинается с проверки обхода, индексации и показа по отдельности, как в таблице в начале статьи. Дальше идут чистка дублей, настройка robots.txt, canonical и Clean-param, проверка кодов ответа, сборка sitemap и перелинковка важных страниц.
Индексация — условие видимости, но не гарантия позиций. Страница в индексе всё равно конкурирует с чужими по содержанию и качеству. Поэтому в LOOK сайт проектируется как система привлечения клиентов: SEO идёт вместе со смысловой структурой и аналитикой.
SEO у нас стоит от 30 000 ₽ в месяц при минимальном сроке 2 месяца: 30 000 ₽ × 2 месяца = 60 000 ₽ за минимальный период. Состав работ и цены — в разделе стоимость, примеры с цифрами — в кейсах студии. Если планируете сайт целиком, посмотрите разбор сколько стоит сайт.
Если не уверены, где застряли страницы, начните с экспресс-аудита видимости сайта в Яндексе: он покажет, что может мешать индексации и где вы теряете заявки.
Получите экспресс-аудит сайта бесплатно
Никита Лукин, руководитель LOOK · пришлём в течение рабочего дняЧек-лист: индексация сайта за один вечер
Порядок, который можно пройти самому. Он же годится как проверка после запуска сайта или крупной правки.
- Сайт добавлен и подтверждён в Яндекс Вебмастере и Search Console.
- Файл
robots.txtоткрывается в корне сайта с кодом 200, весит не больше 500 КБ и не содержит Disallow на нужные разделы. Кириллицы в нём нет. - В коде ключевых страниц нет noindex, а в заголовках ответа нет запрета индексации.
- Ключевые страницы отдают 200 OK, несуществующие адреса — 404.
- Sitemap добавлен в оба сервиса и указан в robots.txt директивой Sitemap.
- Параметры UTM и сессий описаны через Clean-param, у дублей есть canonical для Google.
- На каждую ключевую страницу ведёт хотя бы одна внутренняя ссылка.
- Статус главной и страниц услуг проверен в Вебмастере и Search Console.
- Новые страницы отправлены на переобход, а через одну-две недели проверено, появились ли они в поиске.
Частые ошибки
- Ждать результата через день. У Google на новый сайт может уйти около недели, у Яндекса sitemap загружается в течение двух недель.
- Disallow вместе с noindex. Справка Яндекса советует не ограничивать такие страницы в robots.txt.
- Тестовый запрет остался после запуска. Сайт готов, а в robots.txt закрыт весь домен.
- Отправлять на переобход всё подряд. Лимиты индивидуальны, а IndexNow просят использовать только для новых, изменённых и удалённых страниц.
- Считать, что индекс равен трафику. Проиндексированная страница может не показываться из-за нерелевантности или слабого содержимого.
- Гнаться за 100% страниц в индексе. Дубли, служебные страницы и 404 там не нужны.
Если после этих шагов ключевые страницы не появились в индексе, а в отчётах причин не видно, передайте диагностику специалисту. Связаться с нами можно через раздел контакты.
Частые вопросы
Сколько времени занимает индексация нового сайта?
У Google на сканирование и индексацию нового сайта или страницы может уйти около недели. У Яндекса добавленный sitemap загружается в течение двух недель, и страницы из него появляются в поиске тоже в течение двух недель. Гарантий сроков не даёт ни одна система.
Как ускорить индексацию нового сайта?
Добавьте сайт в Вебмастер и Search Console, загрузите карту сайта, поставьте ссылки на новые страницы из меню и проиндексированных разделов, отправьте ключевые страницы на переобход. Гарантий сроков ни один способ не даёт, но робот узнает о страницах быстрее.
Как проверить, проиндексирована ли страница в Яндексе и Google?
В Яндекс Вебмастере используйте проверку статуса URL, в Google Search Console — инструмент проверки URL. Для небольшого сайта достаточно оператора site: в строке поиска.
Почему страница есть в Search Console как проиндексированная, но не показывается в поиске?
Индексация не гарантирует показ. Google называет причины: нерелевантность запросу, низкое качество контента или запрет в мета-теге robots.
Нужно ли закрывать страницы через robots.txt или noindex?
Служебные страницы и дубли закрывать стоит, но способ зависит от задачи. Disallow запрещает обход, но такие страницы могут участвовать в поиске Яндекса, а чтобы убрать страницу из поиска, используют noindex без ограничения в robots.txt.
Сколько страниц можно отправить на переобход в Яндексе в сутки?
Лимиты индивидуальны для каждого сайта, актуальное значение показывает сам инструмент переобхода в Вебмастере. Отправлять стоит только новые и изменившиеся страницы.
Нужен ли IndexNow небольшому сайту?
Для небольшого сайта с несколькими страницами Яндекс рекомендует использовать переобход страниц в Вебмастере. IndexNow не гарантирует индексацию, а Google протокол не использует.
Нормально ли, что часть страниц не в индексе?
Да. Google указывает, что страницы с noindex, закрытые в robots.txt, дубли и страницы с 404 могут быть не проиндексированы по объективным причинам. Главное, чтобы в индексе были ключевые страницы.
Источники
- Яндекс Вебмастер. Индексирование сайта
- Яндекс Вебмастер. Использование файла robots.txt
- Яндекс Вебмастер. Файлы Sitemap
- Яндекс Вебмастер. Поддержка протокола IndexNow
- Google Search Central. Углублённое руководство по принципам работы Google Поиска
- Справка Search Console. Отчёт об индексировании страниц
- Google Search Central. Повторное сканирование URL
- Google Search Central. Краулинговый бюджет


