Инструмент проверки конкретного адреса в панели вебмастера — самый быстрый способ понять, что поисковая система думает о странице. Он отвечает на три вопроса: доступна ли страница роботу, что робот на ней видит и нет ли запретов, из-за которых она не попадёт в поиск. Ниже разбираем, как им пользоваться и какие выводы делать из результата.
Что показывает проверка
- Код ответа сервера. Двухсотый код означает, что страница отдалась; 301 — что она перенаправляет; 404 и 410 — что её нет; пятисотые коды говорят об ошибке на сервере.
- Запреты в robots.txt. Показывает, попадает ли адрес под запрещающее правило.
- Мета-теги. Есть ли запрет на индексирование в разметке или в заголовках ответа.
- Канонический адрес. На себя ли ссылается страница или указывает на другую.
- Содержимое глазами робота. Текст, который удалось получить при обходе, — именно его стоит сравнивать с тем, что вы видите в браузере.
- Дату последнего обхода и текущий статус: в поиске, исключена, не обходилась.
Типичные диагнозы
| Что показывает инструмент | Что это значит | Что делать |
|---|---|---|
| Запрещена в robots.txt | Робот не заходит на страницу | Убрать правило, отправить на переобход |
| Указан другой канонический адрес | Страница считается копией другой | Проверить шаблон: часто канонический адрес зашит жёстко |
| Есть запрет в мета-теге | Страница исключена намеренно или по ошибке | Проверить, не остался ли запрет с этапа разработки |
| Ответ 301 или 302 | Адрес ведёт на другой | Убедиться, что это задумано и цепочка не длиннее одного шага |
| Пустое содержимое | Текст подгружается скриптом | Отдавать содержимое сразу в разметке |
| Ответ 200 у несуществующей страницы | Сайт отдаёт заглушку вместо ошибки | Настроить честный код 404 |
| Давно не обходилась | Мало внутренних ссылок, страница на отшибе | Добавить ссылки из разделов, включить в карту сайта |
Когда пользоваться инструментом
Проверка адреса — точечная процедура, а не ежедневная привычка. Есть несколько ситуаций, когда она экономит время.
- После публикации важной страницы: убедиться, что она доступна и отдаёт нужный код.
- После переезда сайта или смены адресов: выборочно проверить старые и новые адреса.
- Когда страница есть на сайте, но её нет в поиске дольше нескольких недель.
- После правок шаблона: не сломались ли мета-теги, канонические адреса и заголовки.
- После работ на сервере: не начал ли сайт отвечать роботу иначе, чем браузеру.
Отдельный случай — жалоба вида «конкуренты в выдаче, а нас нет». Прежде чем строить теории, проверьте базовые вещи: доступность, канонический адрес, наличие текста в разметке. В нашей практике примерно половина таких обращений заканчивается находкой из этой таблицы, а не сложной оптимизацией.
Как читать результат правильно
Две ошибки при чтении отчёта встречаются чаще остальных. Первая — путать «страница обойдена» и «страница в поиске». Робот может регулярно заходить на адрес и при этом не включать его в выдачу, если считает содержимое дублем или малополезным. Вторая — считать, что раз в браузере всё в порядке, значит, и у робота тоже. Сервер может отвечать роботу иначе: из-за настроек кэша, географических ограничений, фильтров по признакам клиента или защиты от нагрузки, которая принимает робота за нежелательный трафик.
Поэтому смотреть нужно именно на сохранённое содержимое, а не на свои ощущения. Если в нём нет основного текста, дальше разбираются со способом отдачи страницы, а не с оптимизацией. Если содержимое есть, но страница исключена как недостаточно качественная, техническая часть закончилась — вопрос в самом материале и в структуре раздела.
Полезная привычка: сравнивать проверку одной проблемной страницы с проверкой соседней, которая в поиске есть. Различие между ними обычно и указывает на причину.
Отправка на переобход
Рядом с результатом проверки обычно есть кнопка отправки на переобход. Она ускоряет визит робота, но не гарантирует попадание в поиск: страница всё равно должна быть доступной и полезной. Число таких отправок ограничено квотой, поэтому тратить их стоит на действительно важные адреса — главную, разделы каталога, ключевые страницы услуг, а не на сотню карточек подряд.
Для массового переобхода работают другие механизмы: актуальная карта сайта с датами изменения, внутренние ссылки на новые страницы с уже посещаемых разделов и корректные заголовки ответа о времени последнего изменения. Если карта сайта генерируется скриптом и давно не обновлялась, робот просто не знает, что появилось новое, — эту ошибку мы встречаем регулярно.
Что смотреть регулярно
Раз в месяц достаточно общего отчёта об индексации: сколько страниц в поиске, сколько исключено и по каким причинам. Полезно следить за динамикой: резкое падение числа страниц в поиске почти всегда означает техническую проблему — сменился шаблон, появился запрет, сервис отдал ошибку роботу.
- Число страниц в поиске и его динамика за квартал.
- Причины исключения: дубли, запреты, ошибки сервера, недостаточное качество.
- Ошибки в карте сайта: недопустимые даты, недоступные адреса, устаревший список.
- Статистика обхода: сколько страниц робот посещает в сутки и не тратит ли он бюджет на служебные адреса.
- Появление внешних ссылок и переезд на другой протокол или домен.
Порядок разбора, если страницы нет в поиске
Мы идём по этому списку сверху вниз и почти всегда останавливаемся на одном из первых пунктов.
- Проверить код ответа. Двухсотый — идём дальше, любой другой — сначала чиним его.
- Проверить robots.txt на конкретном адресе, а не на разделе целиком: правила часто пишут шаблонами и захватывают лишнее.
- Проверить мета-тег с запретом и такой же заголовок в ответе сервера — второй забывают чаще, потому что в разметке его не видно.
- Проверить канонический адрес: указывает ли страница на себя.
- Посмотреть содержимое глазами робота: есть ли текст, заголовок и ссылки без выполнения скриптов.
- Убедиться, что на страницу ведут внутренние ссылки хотя бы из одного посещаемого раздела.
- Проверить, есть ли адрес в карте сайта и не устарела ли сама карта.
- Сравнить содержимое с соседними страницами: если они отличаются только названием товара, страница может считаться дублем.
Чего инструмент не покажет
Проверка адреса отвечает на вопрос «может ли страница быть в поиске», а не «будет ли она хорошо ранжироваться». Она не оценивает качество текста, не показывает конкурентов и не объясняет, почему страница на десятой позиции, а не на второй. Если технических препятствий нет, дальше речь идёт о содержании, внутренних ссылках и структуре раздела — это уже другая работа, и инструментом проверки она не решается.
Нужна помощь
Мы разбираем такие ситуации целиком: проверяем доступность страниц роботу, приводим в порядок карту сайта, канонические адреса и коды ответа, а дальше работаем со структурой и текстами. Обсудить SEO-продвижение сайта можно с предварительным техническим разбором.
