Набор инструментов поисковой оптимизации перестроился заметнее, чем сами принципы работы. Часть привычных программ закрылась или потеряла доступ к данным, часть задач ушла внутрь панелей вебмастеров, рутинную обработку текстов и таблиц забрали языковые модели. При этом схема работы осталась прежней: собрать спрос, привести сайт в состояние, пригодное для индексации, закрыть запросы содержанием страниц и проверить результат по данным. Ниже разбираем, что изменилось на каждом шаге, чем мы пользуемся сейчас и по каким признакам решаем, стоит ли добавлять в работу новый сервис.
Что раньше делали руками и почему этого стало мало
Первые годы поисковой оптимизации держались на ручных операциях: подбор фраз по одному источнику, правка метатегов через админку по странице за раз, проверка позиций отдельным запуском программы на своём компьютере. Такой подход работал, пока сайты были небольшими, а поисковая система оценивала страницу в основном по совпадению слов.
Сложности начались, когда выросли и сайты, и требования. На каталоге в несколько тысяч страниц ручная правка метатегов превращается в бесконечную задачу, а ошибка в шаблоне тиражируется мгновенно. Одновременно поисковые системы научились разбирать смысл текста, учитывать поведение посетителей и качество вёрстки, и приёмы вроде плотной набивки ключевых слов перестали давать эффект, а местами стали приводить к обратному результату.
Из чего состоит рабочий набор сегодня
Мы делим инструменты на пять групп по типу задачи. Такое деление удобнее, чем список сервисов: сервисы меняются, а задачи остаются.
- Панели вебмастеров. Яндекс Вебмастер и Google Search Console дают то, чего нет ни в одном стороннем сервисе: реальные запросы, по которым сайт показывается, статусы индексации конкретных адресов и ошибки, которые видит сам робот.
- Краулеры. Программа обходит сайт так же, как робот, и выгружает таблицу со всеми адресами, кодами ответа, заголовками, метатегами и ссылками. Это основа технического аудита.
- Аналитика. Яндекс Метрика и подобные системы показывают, что происходит с посетителем после перехода из поиска: дошёл ли он до нужного раздела, отправил ли заявку.
- Логи сервера. Единственный источник, где видно, как робот на самом деле обходит сайт: какие разделы получают внимание, а какие он не посещал месяцами.
- Мониторинг. Отслеживание позиций, доступности сайта, скорости ответа и изменений в разметке. Задача этой группы одна: заметить поломку раньше, чем её заметит поисковая система.
Задачи и способы их закрыть
| Задача | Чем закрываем | Что получаем на выходе |
|---|---|---|
| Сбор поискового спроса | Панели вебмастеров, сервисы подбора запросов, поисковые подсказки | Список фраз с частотой и пометкой, к какому разделу они относятся |
| Группировка запросов по страницам | Кластеризация по совпадению выдачи, ручная сверка спорных групп | Карта: одна страница отвечает на одну группу запросов |
| Технический аудит | Краулер плюс выборочная проверка вручную | Перечень битых ссылок, дублей, редиректов, страниц без метатегов |
| Индексация | Отчёты панелей вебмастеров, анализ логов | Понимание, какие разделы робот не видит и почему |
| Скорость загрузки | Инструменты измерения основных веб-показателей, замеры на реальных страницах | Список тяжёлых ресурсов и точек, где страница ждёт ответа |
| Контроль изменений | Мониторинг доступности, кодов ответа и ключевых элементов вёрстки | Сообщение о поломке в день, когда она произошла |
| Отчётность | Выгрузки из панелей и аналитики, сведённые в одну таблицу | Динамика показов, кликов и заявок по разделам |
Где помогают языковые модели, а где мешают
Языковые модели закрывают ту часть работы, которая раньше отнимала больше всего времени и не требовала экспертизы: разложить выгрузку запросов по смысловым группам, привести к одному виду несколько тысяч описаний товаров, сделать черновую структуру статьи, сравнить тексты конкурирующих страниц и назвать темы, которых на нашей странице нет.
Хуже они справляются там, где нужна фактура. Текст, полностью написанный моделью без участия специалиста, обычно выглядит гладко и не содержит ничего, чего нет на десятке соседних сайтов. Поисковая система такой материал индексирует, но повода показывать его выше у неё нет. Поэтому мы используем модель как черновик и как редактора, а фактическую часть — порядок работ, ограничения, условия, требования — пишет человек, который эту работу выполняет.
Отдельный риск — придуманные факты. Модель уверенно формулирует несуществующие требования поисковых систем и ссылается на документы, которых нет. Любое утверждение о том, как работает алгоритм, мы проверяем по справке Яндекса и Google, а не по ответу модели.
Технический аудит: краулер вместо ручной проверки
Технический аудит мы начинаем с полного обхода сайта краулером и сверки его результатов с панелями вебмастеров. Порядок такой:
- Обходим сайт целиком и выгружаем таблицу адресов с кодами ответа, заголовками и метатегами.
- Отделяем страницы, которые отвечают не кодом 200, и разбираем каждую группу: битые ссылки, цепочки редиректов, страницы, отданные с ошибкой сервера.
- Ищем дубли: одинаковые заголовки, одинаковые тексты, один и тот же материал по разным адресам с параметрами.
- Сверяем список страниц из обхода с картой сайта и с тем, что видит поисковая система. Расхождения показывают, где робот теряет разделы.
- Смотрим логи: какие разделы робот обходит часто, а какие не посещал давно.
- Собираем задачи в один список с приоритетом по числу затронутых страниц.
Ручной проверке остаётся выборка: несколько типовых страниц каждого шаблона, где мы смотрим разметку глазами и через инструмент проверки страницы в панели вебмастера.
Работа с содержанием страниц
Раньше основным показателем качества текста считали долю ключевых слов. Сейчас смысл работы другой: страница должна закрывать вопрос, с которым человек пришёл из поиска. Практически это означает разобрать, что уже показано в выдаче по нужной группе запросов, какие подтемы там встречаются, и убедиться, что наш материал их закрывает и добавляет то, чего у соседей нет.
Инструменты здесь вспомогательные. Сервис сравнения текстов покажет пропущенные подтемы, панель вебмастера — запросы, по которым страница уже показывается без кликов, аналитика — дочитывают ли материал. Решение о том, что дописать, принимает редактор.
Как мы решаем, добавлять ли новый инструмент
Новых сервисов на рынке много, и почти каждый обещает закрыть весь цикл работ. Прежде чем ставить сервис в регулярный процесс, мы проверяем его по нескольким пунктам:
- Какую задачу из таблицы выше он закрывает и что мы перестанем делать руками.
- Откуда он берёт данные. Если это оценка по собственной базе, а не выгрузка из панели вебмастера, цифры нужно считать ориентиром, а не фактом.
- Можно ли выгрузить данные наружу. Сервис, из которого нельзя забрать таблицу, привязывает процесс к себе.
- Что происходит с доступом. Часть зарубежных сервисов ограничивает оплату и работу из России, и это стоит проверить до того, как процесс на них построен.
- Совпадают ли его выводы с тем, что мы видим в панелях и логах на знакомом проекте. Это самая честная проверка.
Чего инструменты не делают
Ни один сервис не назовёт причину, по которой сайт не растёт. Он покажет симптомы: медленные страницы, дубли, отсутствие индексации, разрыв между показами и кликами. Связать симптомы в диагноз и решить, что делать первым, по-прежнему приходится человеку, который знает бизнес клиента.
Второе ограничение — данные о конкурентах. Оценки трафика и позиций в сторонних сервисах строятся на выборках и моделях, они годятся для сравнения динамики, но не для планирования по абсолютным значениям. Мы используем их, чтобы понять направление, а планы строим по своим данным из панелей вебмастеров и аналитики.
С чего начать
Если инструменты у вас настроены, а понимания, за что браться в первую очередь, нет, начните с разбора текущего состояния: индексация, техническая часть, соответствие страниц спросу. Мы возьмём эту работу на себя и предложим план на ближайшие месяцы. Посмотрите, как устроено SEO-продвижение сайтов, и напишите нам о своём проекте.
