Индексация — добавление информации о сайте и его страницах в поисковые системы — один из первых шагов в SEO. Не всегда можно полностью довериться Яндексу и Google в этом вопросе — за процессом индексирования нужно следить, иначе можно упустить время и потерять ценный трафик из поиска.
Есть несколько способов отследить индексацию своего или чужого сайта. Проверять можно сразу все страницы или каждую по отдельности.
Владелец сайта может добавить его в инструменты для вебмастеров от Яндекса и Google. Там можно получить самую полную и достоверную информацию об индексировании, а также узнать об ошибках.
Если доступа к управлению сайтом нет, вы можете проверить индексацию вручную в поисковой выдаче или автоматически — с помощью специальных сервисов и программ.
Теперь давайте обо всем по порядку.
Чтобы оценить, как хорошо индексируется сайт, нужно узнать, сколько на нем страниц.
Для этого пригодится карта сайта — главный помощник поискового робота. В ней указаны все страницы, которые должны быть проиндексированы. Файл находится в корневой папке сайта и называется sitemap.xml (например, site.ru/sitemap.xml).
Если вы используете WordPress с установленным SEO-плагином (например, Yoast), то карта сайта, как правило, генерируется автоматически.
Также можно использовать бесплатную десктопную программу Xenu, которая сканирует все страницы сайта. Но чтобы в список не попадало все подряд, ее нужно предварительно настроить.
Общие сведения об индексации отображаются на главной странице панели — в краткой сводке по сайту справа.
К тому же Яндекс предлагает целый список отчетов и инструментов в разделе «Индексирование».
В «Статистике обхода» можно узнать, как робот Яндекса исследует сайт, и не столкнулся ли он с проблемами во время сканирования. Здесь два отчета: по последним событиям и по страницам. Если вас интересует, какие изменения произошли недавно, откройте первый отчет.
В следующем подразделе «Все страницы» перечислены все просканированные URL сайта, начиная с последних.
Напротив каждого URL указан код ответа сервера, который получил робот. В идеале это 200. На правильно работающем сайте не должно быть ответов с кодом 500. 404-е ошибки встречаются, когда страница была удалена. Если она переехала в другое место, нужно настроить переадресацию.
Страницы, которые находятся в индексе, можно посмотреть в разделе «Страницы в поиске». Во вкладке «Последние изменения» — самая актуальная информация об URL, участвующих в поисковой выдаче Яндекса.
Здесь же можно посмотреть исключенные из поиска страницы.
В подразделе «Все страницы» можно скачать таблицу с информацией об индексации страниц сайта, которые присутствуют в файле sitemap. Напротив каждого URL также будет показан код ответа сервера и статус.
Таблица в виде отдельного файла — не самый удобный способ представления данных. Но если напротив страницы указано слово searchable, это означает, что она находится в поиске.
Еще одна полезная опция для проверки индексации — «Мониторинг важных страниц». Чтобы не искать нужные страницы в списке проиндексированных, составьте список до 100 URL и добавьте его в специальное поле.
После настройки уведомлений поисковая система будет оповещать вас об изменениях, связанными с выбранными страницами.
Если необходимо, чтобы Яндекс быстрее находил новые страницы и чаще мониторил сайт, не забудьте включить обход по счетчикам. Для этого, конечно же, к сайту должен быть привязан счетчик Метрики.
Узнать подробную информацию об индексации в Google Search Console можно в разделе «Покрытие».
Общая информация об индексировании представлена на графике. Все страницы поделены на четыре категории:
Если количество страниц сайта совпадает с количеством страниц в зеленой и желтой зоне, все хорошо. В желтую зону часто попадают страницы, которые проиндексированы, несмотря на запреты в robots.txt.
Под графиком можно получить подробную информацию о страницах — по какой причине Google отнес их к той или иной категории.
Если вы не владелец сайта, у вас нет доступа к инструментам Google и Яндекса для вебмастеров — индексацию можно проверить прямо в поисковике и с помощью специальных сервисов.
Самый быстрый и простой способ узнать количество проиндексированных страниц — заглянуть в поисковую выдачу. Чтобы проверить, есть ли в поиске страницы с конкретного сайта, есть специальный оператор — site. Он работает в Google и частично в Яндексе (количество результатов поиска в Яндексе больше не работает, раньше был справа от поисковой строки).
В инструментах поиска можно отфильтровать результаты, например, отобразить только недавно проиндексированные страницы.
В Яндексе тоже есть фильтры, которые можно применить к результатам поиска. Посмотреть недавно добавленные страницы здесь тоже легко. Только вариантов фильтрации четыре: за все время, сутки, 2 недели и месяц. Помимо этого можно уточнить местоположение, откуда делались запросы.
Так как Google и Яндекс — поисковики для разных стран, каждый со своим алгоритмом, то количество проиндексированных страниц в разных поисковых системах может отличаться.
Перемещаясь по страницам поиска, вы сможете посмотреть, какие URL вашего сайта есть в поиске, начиная с самых важных. Однако у такого способа проверки есть минус: он отнимает больше времени, и не получится узнать и сравнить количество всех индексируемых страниц в Яндексе.
Проверять по отдельности индексацию в каждом из поисковиков не всегда удобно. Иногда хочется получить информацию быстро, без погружения в подробности. Для этого есть специальные онлайн-сервисы и программы, которые позволяют за несколько секунд проверить индексацию в обеих поисковых системах.
Есть SEO-комбайны с целым набором инструментов для поисковой оптимизации, например, Topvisor. Но такие сервисы я рассматривать не буду, так как они обычно платные и предназначены для тех, кто вплотную занимается SEO.
Остановимся на бесплатных помощниках оптимизатора, которые способны проверять индексацию отдельных страниц и всего сайта.
Серпхант. Онлайн-сервис с возможностью бесплатной проверки индексации 50 страниц в Яндексе и Google. Однако сервис доступен только с иностранных IP.
Через какое-то время (в зависимости от количества страниц) сервис выдаст результат в виде таблицы. Данные можно скачать отдельным файлом.
SEO Magic. Это браузерное расширение для быстрой проверки основной информации о сайте, в том числе количества проиндексированных страниц. Перейдите на интересующий вас сайт, кликните на значок расширения, и через пару секунд появится краткий отчет.
Если вы делаете сразу много проверок, Яндекс может принять вас за робота, поэтому в результатах проверки появится undefined. Но если кликнуть по ссылке (все показатели кликабельны) — откроется выдача поисковика с уже введенным оператором site и данными о количестве проиндексированных страниц. Правда, сперва придется пройти проверку на ботов.
SiteAnalyzer SEO Tools. Еще одно полезное расширение для SEO-специалистов. Дает более обширную информацию, например, возраст домена, название CMS, на которой стоит сайт. Также показывает индексацию сайта.
Стоить помнить, что данные в сервисах или поиске могут быть неточными, особенно в Яндексе. Если мониторите собственный сайт, для точности лучше пользоваться отчетами Google Search Console и Яндекс Вебмастера.
Иногда нужно узнать, проиндексирована ли конкретная страница в Google или Яндексе. Это тоже можно сделать прямо в поиске или в инструментах вебмастера.
Google Search Console. Строка ввода URL для проверки отображается в самом верху панели. Этим инструментом можно воспользоваться в любой момент — независимо от того, в каком отчете вы находитесь.
Если страница проиндексирована, вы получите ответ с зеленой галочкой. Чтобы отправить робота на страницу для сканирования (первичного или повторного), нажмите «Запросить сканирование».
Яндекс Вебмастер. Аналогичный инструмент в Яндекс Вебмастере называется «Проверка страницы» и находится в том же разделе «Индексирование».
Также наличие страницы в индексе можно проверить в поисковой выдаче с помощью того же оператора site. Только теперь после двоеточия вместо домена нужно указать URL страницы (без пробелов).
Это нужно, чтобы страницы быстро попадали в поиск и приносили трафик. Мало проверить индексацию, важно облегчить поисковым роботам их работу.
Вот краткий список рекомендаций:
Добавьте сайт в Яндекс Вебмастер и Google Search Console. Так вы будете получать информацию об индексировании, посещаемости и техническом состоянии сайта из первых рук и сразу узнавать об ошибках, которые поисковые роботы могут выявить на вашем ресурсе.
Составьте карту сайта в формате xml. Если вы пользуетесь WordPress, ее можно создать автоматически с помощью плагина и его базовых настроек. Также карту можно сделать в специальных онлайн-сервисах. Лучше, чтобы она была динамической и отображала дату последнего изменения страниц и файлов сайта (Last-Modified). Также полезно добавить карту в панели вебмастера (оба поисковика предлагают такую возможность).
Создайте файл robots.txt. Он нужен, чтобы разрешать или запрещать обход определенных страниц сайта. Если у вас большой сайт с огромным количеством служебных страниц, их индексацию нужно запретить — так роботы Яндекса и Google не будут тратить краулинговый бюджет на ненужные страницы и быстрее проиндексируют то, что действительно важно.
Запросите сканирование важных страниц вручную. Это нужно сделать, если важные страницы долго не индексируются. Не всегда помогает, но не так сложно сделать запрос в Вебмастере или Google Search Console, чтобы поисковый робот быстрее посетил новый URL.
Следите за актуальностью контента и регулярно обновляйте ресурс. Чем чаще на сайте публикуется что-то новое, тем активнее его исследуют поисковики. Если тематика сайта позволяет, заведите блог или придумайте другой способ публикации контента. Не забывайте запрашивать переобход измененных страниц у роботов Яндекса и Google.
Не оставляйте «страниц-сирот». На каждую страницу должна вести хотя бы одна ссылка, иначе поисковый робот никогда не найдет ее самостоятельно. В блоге я уже подробно разбирала, как сделать перелинковку на сайте.
Это базовые рекомендации, но их выполнение поможет избежать ошибок в индексировании и быстро «загнать» страницы в поиск.
Всё для быстрого старта в email-маркетинге: блочный редактор, 200 шаблонов, ИИ-помощник. 1500 писем бесплатно.
Искренние письма о работе и жизни, эксклюзивные кейсы и интервью с экспертами диджитала.
