Индексация сайта: почему страниц нет в поиске и как ускорить

Вы открываете свой сайт в браузере — всё на месте: главная, услуги, десяток статей. Значит, сайт работает и его видно. А потом вводите название своей компании в Яндексе — и половины страниц просто нет в выдаче. Как будто их не существует. Именно здесь начинается тема, которую обходят стороной: индексация сайта. Пока страница не попала в базу поисковика, её нельзя найти по запросам, она не приводит клиентов и как бы не считается. Разберём простыми словами, почему так происходит, как это проверить и как ускорить.

Что такое индексация простыми словами

У поисковика — Яндекса или Google — есть программа-робот. Её называют краулером. Робот ходит по интернету, заходит на страницы, читает их содержимое и заносит информацию в свою огромную базу — индекс. Индекс — это как каталог в библиотеке: там записано, о чём страница, какие на ней слова, что она отвечает на такой-то вопрос.

Когда человек вводит запрос, поисковик ищет ответ не по всему интернету в реальном времени, а именно по своему каталогу — по тем страницам, что он уже прочитал и запомнил. Логика простая, но из неё следует важный вывод: если страницы нет в каталоге, показать её в ответах поисковик не может. Даже если она идеальная. Индексация — это и есть попадание страницы в этот каталог.

«Сайт открывается» и «сайт в индексе» — не одно и то же

Это главная путаница, из-за которой владельцы теряют месяцы. То, что сайт открывается у вас в браузере, означает ровно одно: сервер отдаёт страницы посетителям. Вы напрямую попросили — вам показали.

Индекс поисковика — совсем другая история. Чтобы страница туда попала, робот должен:

• узнать, что такая страница вообще существует;
• зайти на неё и суметь прочитать;
• решить, что её стоит хранить и показывать людям.

На любом из этих шагов что-то может пойти не так. Робот может не узнать про страницу, потому что на неё нет ни одной ссылки. Может зайти, но упереться в запрет. Может прочитать, но счесть страницу пустой. Браузер обо всём этом не в курсе — он просто показывает вам то, что вы открыли.

Отсюда и типичная ситуация: сайт «есть», деньги на него потрачены, а в поиске его будто нет. Владелец в недоумении — он же его видит. Но видит его он, а не поисковик. И пока эти две картины не совпадут, ждать клиентов из поиска бессмысленно.

Как проверить индексацию своего сайта

Хорошая новость: проверить всё можно самому за пять минут, без специалистов.

1. Оператор site: в Яндексе. Введите в поиск site:вашсайт.ru без пробелов. Поисковик покажет примерно то, что у него есть в индексе по вашему домену. Если страниц заметно меньше, чем на сайте, или вообще ноль — это сигнал.
2. Яндекс.Вебмастер. Бесплатный кабинет для владельцев сайтов. В разделе про индексирование видно, сколько страниц робот знает, сколько загрузил, сколько попало в поиск, а сколько исключено и почему. Это самый честный источник — прямо от поисковика.
3. Проверка конкретного адреса. В Вебмастере есть инструмент, где можно вставить адрес одной страницы и посмотреть её статус: в поиске она или нет, и что мешает.

Заведите Вебмастер, даже если больше ничего с ним делать не будете. Без него вы про свою индексацию гадаете, а с ним — знаете.

Почему страницы не попадают в поиск

Причин немного, и почти все банальны. Пройдёмся по частым.

• Закрыто в robots.txt. Это служебный файл в корне сайта, который говорит роботам, куда можно ходить, а куда нет. Иногда после разработки в нём остаётся запрет на весь сайт — так его прячут от поисковиков на время сборки. Забыли снять — сайт годами невидим.
• Мета-тег noindex. Специальная строчка в коде страницы, которая прямо говорит: «не бери меня в индекс». Тоже часто остаётся с этапа разработки или ставится по ошибке.
• Нет карты сайта и внутренних ссылок. Если на страницу не ведёт ни одна ссылка и её нет в карте сайта, робот может просто не узнать о её существовании.
• Дубли. Одна и та же страница доступна по нескольким адресам (с www и без, со слэшем и без, с параметрами). Поисковик путается, распыляется и может не показать ни одну из версий.
• Медленный сайт. У робота на каждый сайт ограниченный бюджет времени. Если страницы грузятся долго, он успевает обойти меньше и заходит реже.
• Новый домен без доверия. К свежему сайту поисковик присматривается. Первые недели, а то и месяцы, он индексирует его медленно и осторожно.
• Низкое качество страниц. Пустые страницы, пара строк текста, скопированное с других сайтов — такое робот может прочитать, но в поиск не пустить.

Живой пример: полгода впустую

Небольшая компания — монтаж инженерных систем в загородных домах — заказала новый сайт. Сделали красиво: услуги, цены, галерея объектов, блог. Запустили, дали рекламу, ждут заявок из поиска. А их нет. Совсем.

Владелец решил, что «SEO долго» и «надо ещё подождать». Ждал. Полгода сайт стоял, деньги на контекстную рекламу утекали, а органического трафика — ноль. Когда наконец завели Вебмастер и заглянули, картина прояснилась мгновенно: сайт был полностью закрыт от индексации. При разработке его спрятали от поисковиков, чтобы недоделанный проект не попал в выдачу, — и после запуска забыли снять запрет. Одна строчка в файле.

Полгода сайт для поисковика не существовал. Все запросы, по которым его могли найти клиенты, уходили конкурентам. Посчитайте: если бизнес приносит хотя бы пятерых клиентов в месяц из поиска, это тридцать потерянных клиентов и вполне ощутимые деньги — из-за одной невнимательности. После снятия запрета и подачи сайта на переобход первые страницы попали в поиск за пару недель.

Как ускорить обход и индексацию

Прямой кнопки «взять в индекс сейчас» нет ни у кого. Но помочь роботу можно — и это заметно ускоряет дело.

• Карта сайта (sitemap.xml). Это список всех важных адресов вашего сайта в понятном роботу виде. Добавьте её в Вебмастере — так поисковик сразу узнаёт обо всех страницах, а не ищет их наугад.
• Переобход в Вебмастере. Есть инструмент, где можно вручную отправить конкретный адрес роботу с просьбой зайти. Полезно для новых и обновлённых страниц. Количество таких заявок в день ограничено — тратьте на важное.
• Перелинковка. Ссылайтесь со страницы на страницу внутри сайта. Из статьи — на услугу, из услуги — на смежную. Робот ходит по ссылкам, и чем лучше они связаны, тем полнее он обходит сайт.
• Регулярное обновление. На сайты, где что-то меняется — выходят статьи, обновляются разделы, — робот заходит чаще. Живой сайт поисковик обходит охотнее, чем застывший.
• Скорость и порядок. Уберите дубли, настройте единый адрес, ускорьте загрузку. Роботу проще — индексация быстрее.

Почему страницы выпадают из индекса

Бывает и обратное: страница была в поиске, а потом пропала. Это нормально в разумных пределах, поисковик постоянно пересматривает свой каталог. Частые причины выпадения:

• страница стала недоступна или отдаёт ошибку;
• появился дубль, и поисковик оставил в индексе другую версию;
• содержимое сочли слабым или устаревшим;
• случайно поставленный запрет на индексацию.

Что делать: откройте в Вебмастере список исключённых страниц — там для каждой указана причина. Если это ошибка или запрет — чините и отправляйте на переобход. Если страница правда слабая — дорабатывайте содержимое. Паниковать из-за пары выпавших служебных страниц не стоит, а вот массовое выпадение важных — повод разобраться серьёзно.

Сколько обычно ждать

Точных сроков не даст никто, но есть ориентиры. Для сайта, у которого всё настроено правильно:

• отдельная новая страница на живом сайте — от нескольких дней до пары недель;
• новый домен целиком — первые страницы за недели, полная и стабильная индексация за один-три месяца;
• после исправления явной ошибки (сняли запрет) — обычно быстро, недели за две.

Если прошло больше месяца, а страниц в индексе нет и в Вебмастере тишина или ошибки — это не «долго», это что-то мешает. Ждать смысла нет, надо искать причину.

Короткий вывод и что делать дальше

Индексация — это первый и обязательный шаг: пока страница не в базе поисковика, она не приносит клиентов, каким бы хорошим ни был текст. Проверить всё можно самому.

1. Введите site:вашсайт.ru в Яндексе и прикиньте, сколько страниц в индексе.
2. Заведите Яндекс.Вебмастер и посмотрите реальную картину.
3. Убедитесь, что сайт не закрыт в robots.txt и нет случайного noindex.
4. Добавьте карту сайта и наладьте внутренние ссылки.

Если при проверке всплывают запреты, дубли или сайт просто «не виден» поисковику — это чинится, но требует аккуратных технических рук. Мы делаем сайты под ключ по подписке так, чтобы они были открыты и понятны роботам с первого дня: карта сайта, чистые адреса, скорость, перелинковка — из коробки. Тогда история про «полгода закрытого сайта» с вами просто не случится, а страницы начинают попадать в поиск в нормальные сроки. Начните с простого — проверьте свою индексацию сегодня, чтобы точно знать, видит вас поиск или нет.