Как сделать кластеризацию семантического ядра

Семантическое ядро в идеале собирается еще на этапе планирования сайта. Без этого не сделать грамотной структуры, которая сама по себе уже будет работать на продвижение. Опытные сеошники тоже начинают оптимизацию любого проекта со сбора семантики. Это основа основ.

Но семантика — это всего лишь список поисковых запросов. Чтобы он превратился в смысловой каркас сайта, необходима кластеризация —объединение схожих по смыслу и интенту ключей в тематические кластеры. О способах кластеризации семантического ядра пойдет речь в этой статье.

Что такое семантическое ядро

Поисковики ищут релевантные документы в своем индексе, опираясь на запросы пользователей. Если ваша страница не содержит ни одного ключа, который совпадает с формулировкой пользователя, то ее вряд ли покажут в топе выдачи. Чтобы вас нашли и показали аудитории, нужно выяснить, как люди ищут аналогичную информацию в сети.

Список запросов-ключевиков называется семантическим ядром сайта. Чем он разнообразнее, тем больше шансов попасть в топ поисковых систем. Составить СЯ — это собрать список ключевых фраз, по которым будет продвигаться сайт.

Сбор СЯ — большая работа, которая начинается с глубокого изучения ниши, бесед с владельцами бизнеса и менеджерами, анализа конкурентов. На основе собранного материала с помощью различных программ и онлайн-сервисов парсятся запросы, определяется их частотность, конкурентность, интент. Собранную семантику чистят от мусорных фраз и приступают к кластеризации.

Подробнее о сборе СЯ читайте в статье Как правильно составить семантическое ядро.

Что такое кластеризация семантического ядра

Сама по себе семантика — это просто набор фраз. Чтобы она работала на сайт и его видимость в поиске, ее нужно кластеризовать. Что такое кластеризация ядра? Это деление собранного списка ключей на смысловые группы, под каждую из которых на сайте будут создаваться индивидуальные посадочные страницы.

Грамотная группировка ключевых слов обеспечивает эффективное ранжирование в топе:

• каждая страница создается осмысленно, под определенную группу связанных ключей;
• для каждого кластера создается контент, отвечающий реальным потребностям пользователей;
• сокращаются расходы на продвижение: часть страниц, особенно созданных под низкочастотные запросы, выходит в топ без дополнительных танцев с бубнами.

По сути, в одном кластере собираются разные ключевики, по которым пользователи ищут одно и то же. Можно было бы сказать, что кластеризация — это поиск синонимов, но это не совсем корректно. Скорее, это синонимы в определенном контексте. Сравните: ювелирный магазин и ювелирные изделия. Это не синонимы в обычном понимании, но по этим двум запросам пользователи ищут одно и то же: где купить ювелирку, поэтому они объединяются в один кластер.

Фразы из кластера распределяются в пределах одной целевой страницы. Обычно основной ключ ставится в начало, а остальные равномерно рассредоточиваются по тексту.

Поисковый интент

Кластеризация ключевых слов должна проводиться с учетом интента. Под одной и той же формулировкой пользователи могут иметь в виду совершенно разные вещи. Например, по ключевику «тормозные колодки на Ситроен» человек может искать, где их купить, в каком автосервисе их поменять или как все сделать самому. Интент — это намерение пользователя. По интенту запросы делятся на:

• информационные: пользователь ищет полезную информацию («как чистить фильтры у робота-пылесоса»);
• навигационные: пользователь собирает данные для анализа («какой робот-пылесос купить»);
• коммерческие: пользователь определился с услугой или товаром и ищет, где его заказать («купить робот-пылесос сяоми»).

Грубая ошибка — совмещать на одной странице ключевые фразы с разным интентом. Когда человек ищет информацию, у него нет цели купить товар. Он просто хочет почитать полезную статью про смену фильтров на пылесосе. Вероятно, что пылесос у него уже есть, а, может быть, он собирает максимум данных перед принятием решения о покупке. И, наоборот, запрос с коммерческим интентом должен вести на страницу, где можно сделать заказ. Если пользователь, набрав фразу «купить робот-пылесос сяоми», попадет на обзор бытовой техники разных марок или на гайд по его подключению к системе умного дома, он быстро уйдет с сайта туда, где его интент будет учтен.

Совмещая ключевые фразы с разным интентом, вы размываете релевантность страницы, привлекаете нецелевой трафик, но это полбеды. Пользователь быстро понимает, что пришел не по адресу, и уходит с сайта обратно на страницу поиска, а это отказы, которые негативно влияют на поведенческие факторы.

Методы кластеризации запросов

Для группировки семантического ядра можно использовать три разных метода. Какой из них выбрать, зависит от объема собранной семантики и размера сайта. Часто приходится комбинировать методы, чтобы получить наиболее точный результат.

Логическое разбиение

С этого метода все начиналось. Сеошник анализирует каждый ключевик и пытается понять логику пользователя. Нужно по формулировке угадать, с каким намерением и на какую страницу стремится попасть человек.

Логическое разбиение хорошо для кластеризации запросов небольшого семантического ядра. Главные его недостатки: долго и высокая вероятность ошибок, т.к. метод основан на субъективном анализе. Ошибки могут быть как в самой логике, когда в группу добавляются ключи, не имеющие отношения к содержимому страницы, так и в неверном истолковании интента.

Кластеризация по семантической схожести

Трудоемкий метод, который требует разработки специальных формул и обучения нейронных сетей. На выходе в кластеры попадают семантически близкие ключи, объединяющиеся вокруг слов с «тяжелым весом». Если правильно подобрать формулу, результаты могут быть очень точными, но метод пока слишком сложен в исполнении и требует постоянных обновлений формул, учитывающих эволюцию алгоритмов ранжирования.

Группировка по топам

Самый оптимальный метод, хотя и он не без греха. Это кластеризация запросов на базе анализа первых страниц поисковой выдачи. На этом методе основано большинство онлайн-группировщиков ключевых слов.

Как это работает?

1. Берем 2 ключа: «офсетная печать» и «заказать офсетную печать».
2. Смотрим топ выдачи по обоим и ищем пересечения URL.
3. Назначаем пороговое количество пересечений, по достижении которого ключевики отправляются в один кластер. В нашем случае пересечений достаточно, чтобы объединить эти 2 фразы для одной страницы на нашем сайте.

Преимущества такого метода:

• быстро;
• вполне точно;
• повсеместно распространено.

Но не всегда можно безоговорочно равняться на топы поисковиков. Включать собственную логику тоже необходимо, если есть возможность сделать лучше и логичнее, чем у конкурентов. Спорные ситуации часто возникают с синонимичными ключами, которые поисковик считает разными и выдает по ним разные результаты, хотя логики в этом никакой нет.

Например, фразы «ссылочный профиль» и «ссылочная масса» Яндекс считает разными. Чтобы продвигаться по этим ключам, все делают 2 страницы, хотя смысл обеих фраз идентичен, а логика и здравый смысл говорят, что одной страницы с хорошим контентом будет вполне достаточно.

Также причинами некорректной группировки по топу могут стать:

• новая тематика, по которой у поисковика слишком мало данных;
• в ядре много низкочастотных ключей с длинным хвостом;
• неправильно выставленный порог пересечений;
• ошибочный выбор метода.

3 метода группировки по топам

Кластеризация ядра запросов на основе анализа выдачи поисковых систем может проводиться 3 способами. Соответственно, и результаты группировки будут разными.

Soft

Принцип: есть основной ключ (обычно высокочастотник), с которым связаны все остальные в группе. При этом между собой второстепенные фразы могут вообще не пересекаться по URL в выдаче.

Например, основной ключ «заказать дизайн полиграфии». С ним будут связаны: «разработка дизайна полиграфии», «дизайн полиграфии в Твери», «дизайн для полиграфии недорого» и т.п.

Мягкий метод дает на выходе много данных, но с точностью группировки тут есть проблемы. Soft-методика подходит скорее для информационных сайтов или для небольших интернет-магазинов со скромной семантикой. Метод можно применять, когда нужно нагнать трафик на страницу по большому количеству запросов.

Hard

Принцип: по всем ключевикам в группе в выдаче имеется общий набор страниц. Если хотя бы у одного из ключей не достигается порог пересечений с остальными членами группы, он не попадает в кластер. То есть, если вы задаете порог пересечений в 3 URL, значит, у каждого запроса должно быть по 3 совпадения с остальными фразами.

Жесткий метод дает высочайшую точность результатов в 90 % при пороге пересечений в 3 URL, но количество данных внутри кластера будет меньше. Это подходит для высококонкурентных ниш, где нужна высокая релевантность посадочной страницы ключам, по которым она продвигается.

Moderate или Middle

Принцип: каждый запрос в группе связан со всеми остальными. В кластере собирается некое облако, где все фразы связаны между собой, но не жестко: нет обязательного требования пройти порог по пересечениям со всеми членами группы. У соседей могут быть разные цифры пересечений адресов в топе.

Способы кластеризации семантического ядра

Группировать ключи можно вручную, автоматически в специализированных онлайн-сервисах или в программах для кластеризации семантического ядра.

Ручная кластеризация

Ручная группировка обычно проводится только для метода логического разбиения. Но из-за высокой вероятности ошибки полученные кластеры рекомендуется перепроверять по совпадениям на SERP (странице выдачи). Это занимает слишком много времени. Если на логическую группировку ядра из 100 ключей потребуется порядка часа работы, то с последующей проверкой по пересечениям вы потратите целый день.

Исключительно ручное деление на кластеры оправдано только для совсем небольших проектов, где высокая точность не критична. В то же время человек, хорошо ориентирующийся в теме, может распределить схожие ключи по группам очень грамотно, т.к. знает специфику своего продукта и потребности целевой аудитории.

Разбивка по логике хороша как заключительный этап, когда выданный программой результат анализируется и правится, исходя из здравого смысла.

Ручную группировку удобно делать в форме таблиц или интеллект-карт. Для этого подходят стандартные офисные программы для работы с таблицами Excel, OpenOffice, LibreOffice, онлайн-аналог Excel Google Таблицы или любые доступные сервисы интеллект-карт типа XMind.

• Выгружаем собранную семантику в таблицу и выделяем запросы с высокой частотностью, которые станут основой кластеров.
• С помощью текстового фильтра или вручную находим фразы с однокоренными словами, синонимы и маркеры интента (купить, заказать и т.д.).
• На основе получившихся данных распределяем ключи по кластерам.

Подробно о ручной работе по сбору и группировке семантики мы писали в статье Как собрать семантическое ядро в Вордстат Яндекса - инструкция для новичков.

Алгоритм работы с сервисами

Все популярные онлайн-сервисы кластеризации семантического ядра работают на основе группировки по топу поисковой выдачи. Принцип работы у них приблизительно одинаковый, отличаются нюансы и набор настроек.

Посмотрим, как пользоваться сервисами, на примере популярного инструмента от команды PromoPult. Здесь группировка по топу проводится только методом Hard.

Для начала работы требуется:

• авторизоваться;
• указать название нового проекта;
• при желании ввести адрес сайта;
• загрузить файл со списком семантики в формате XLSX или ввести скопированный список в соответствующее поле (не менее 20 запросов);
• настроить параметры кластеризации.

Настройки зависят от сервиса. В PromoPult предлагают задать конкретным числом или диапазоном порог совпадений (точность). Стандартный порог от 3 до 5. Дальше выбираем поисковик, по топу которого будет проводиться анализ (обычно или Яндекс, или Google), и регион. PromoPult предлагает также более тонкую профессиональную настройку.

В зависимости от объема семантического ядра будет указана стоимость кластеризации вашего проекта. Запустить группировку можно, пополнив счет. Чем больше ядро, тем дольше придется ждать результатов: 100 запросов обрабатываются около минуты. Но это несоизмеримо быстрее, чем группировать семантику руками.

Отчет об онлайн-кластеризации данных сервис предоставляет в формате XLSX. В документе будет по одной странице для каждого выбранного поисковика в одном регионе с заданным порогом совпадений. Бонусом инструмент предоставляет отчет о частотности по каждому ключу, список адресов конкурентов и даже подберет релевантные страницы для каждого кластера на вашем сайте (если вы указали на него ссылку в самом начале).

Остальные сервисы плюс-минус работают по тому же сценарию. Некоторые предоставляют возможность выбрать метод группировки (Hard или Soft). В остальном разница лишь в цене и интерфейсе.

Обзор популярных онлайн-группировщиков

SERanking

Сервис предоставляет возможность проверить частотность, но за дополнительную плату 0,25 руб. за слово.

Плюсы: понятный интерфейс, есть все необходимые настройки, можно купить подписку или платить по факту.

PromoPult

Сервис автоматически предоставляет отчеты по частотности, списки конкурентов и релевантных страниц на сайте для созданных кластеров.

Плюсы: возможность тонких настроек для более точной группировки ключей внутри больших кластеров, бесплатные бонусы.

Serpstat

Серпстат реализует принцип иерархической кластеризации, когда семантически близкие группы объединяются в суперкластеры, а те, в свою очередь, группируются в еще более крупные протокластеры.

Вместо порога пересечений сервис предлагает выбрать один из трех уровней «силы связей», которая рассчитывается, исходя из индекса семантической схожести. 30 пересечений страниц на выдаче — это максимум возможных совпадений.

Сервис многофункциональный, оплатить отдельно группировку нельзя, придется выбирать тариф и оплачивать полный набор инструментов SEO-платформы.

Плюсы: в отчете кластеры уже выстроены в иерархическую структуру, что упрощает работу с вложенностью страниц при создании сайта.

Rush-analytics

Вместе с онлайн-кластеризацией запросов сервис бесплатно предоставляет отчет со списком конкурентов и подсветкой тематических слов из выдачи. Также определяется лучшая страница конкурента для каждого кластера.

Есть 3 алгоритма выбора вершины кластера — главного ключевика, к которому привязываются остальные фразы:

1. По данным Wordstat выбирается самый частотный ключ.
2. По маркерам вы сами назначаете основные ключевые фразы.
3. Гибридный: после ручного маркирования вершины кластера выбираются автоматически по данным Вордстата среди оставшихся ключевиков.

Megaindex

Сервис сам собирает семантику по конкурентам, которых вы вводите в соответствующее поле. Полученный список отправляется на кластеризацию. Можно настроить регион и количество совпадений. В отчете предоставляются сведения о частотности ключей.

Плюсы: можно собрать и провести кластеризацию небольшого семантического ядра бесплатно и даже без регистрации.

Keys.so

В настройках можно задать уровень связанности ключей от 10 до 100%: чем выше процент, тем мельче дробятся группы. Можно исключить запросы с низкой частотностью и указать порог частотности для главного ключа.

Плюсы: удобно устроена работа с результатами. Прямо в сервисе можно структурировать группы, менять их расположение, удалять ненужные, искать близкие по семантике с помощью фильтров.

Topvisor

Представлены 3 варианта кластеризации:

• по топ 10;
• по релевантности;
• по целевым URL.

Плюсы: сервис предоставляет возможность кластеризации по методу Moderate.

Just-magic

На выходе кроме кластеров вы получаете дополнительную информацию: геозависимость, уровень «коммерческости» ключа, URL обнаруженных релевантных страниц, можно запросить отчет по частотности, причем настроить анализ частотности можно по нескольким параметрам.

Semparser

Сервис заточен на кластеризацию запросов онлайн. Здесь все инструменты связаны с работой над семантикой и структурой сайта:

• группировщик ключевых слов;
• создание структуры сайта;
• определение сайтов-лидеров по каждому запросу и кластеру;
• определение геозависимости и «коммерческости» запросов;
• определение релевантных страниц по каждому кластеру;
• генератор ТЗ копирайтеру;
• проверка текстов на соответствие ключам из кластера.

engine.seointellect.ru

Небольшой сервис для оптимизации сайта со своим стандартным кластеризатором семантического ядра.

Majento

Бесплатный сервис, который может сгруппировать семантическое ядро из 500 ключей по топу Яндекса. Если указать свой домен, то в отчете появится информация по релевантным страницам для каждого кластера. Скачать отчет можно в формате CSV.

Be1

Бесплатный сервис с возможностью настройки региона. Отчет доступен онлайн в форме удобной таблицы, которую можно редактировать и скачать в формате CSV.

Сервисов с онлайн-инструментами кластеризации очень много, мы перечислили далеко не все. Но среди профессиональных сеошников из-за более точных результатов авторитетом пользуются три SEO-платформы:

1. SERanking;
2. PromoPult;
3. Serpstat.

Софт для кластеризации семантического ядра

Помимо онлайн-сервисов существуют программы с функцией кластеризации.

Key Collector

https://www.key-collector.ru/

Есть несколько алгоритмов деления запросов на группы:

• по отдельным словам (удобно для составления списка минус-слов);
• по составу фраз (группируются похожие фразы);
• по поисковой выдаче (группировка по пересечениям на SERP);
• по конкурентам в поисковой выдаче (группировка по принадлежности фраз конкурентам);
• по тегам групп.

Key Collector профессиональная программа для работы с семантикой. У нее множество функций и гибкие настройки под конкретный проект. Программа платная, первая лицензия стоит 2200 руб. За эти деньги вы получаете в бессрочное пользование мощнейший инструмент для сбора и кластеризации семантического ядра.

KeyAssort

https://keyassort.com/

Программа, заточенная на группировку семантического ядра. Имеет 3 функции:

• кластеризация;
• построение структуры сайта на базе полученных данных;
• отчет по лидерам в топе по кластерам и запросам.

Большой выбор настроек позволяет регулировать необходимую для конкретного проекта точность группировки. Анализ проводится по топу выдачи от 5 до 50.

Есть демо версия без права скачать результат. Полная версия стоит 29.95 $.

Key Clustered

https://keyclusterer.ru/

Бесплатный десктопный кластеризатор, аналогичный программе Key Assort. В настройках можно выбрать метод Soft или Hard, задать порог пересечений от 1 до 10 и количество позиций в топе. После автоматической кластеризации открывается функция ручной группировки. На выходе кроме кластеров вы получите список лучших конкурентов.

Программа работает с семантикой любого объема. Отчет предоставляется в формате Excel.

Mindserp

http://rashad.su/mindserp/

Программа работает с готовым списком ключей и имеет 3 функции:

• кластеризация ключевых слов;
• анализ топа выдачи по заданному ключевику;
• выявление коммерческих запросов.

Настроек много, по каждой выпадает подсказка по ходу работы. Можно задать регион, поисковую систему, браузер (для Google), длину топа (10, 20 и т.д.), количество пересечений URL, строгий—мягкий метод, глубину уровней групп (1 или 2), исключить из анализа главные страницы и т.д. С отчетом можно работать прямо в программе, готовый результат выгружается только в Excel.

Цена софта 3000 руб., разработчики предоставляют демо версию на 2 дня.

Из представленного софта наиболее точные результаты при сравнительном анализе кластеризации «идеального» ядра показала программа KeyAssort. Данные проверки опубликованы здесь: https://habr.com/ru/post/354986/.

Параметры эффективной кластеризации

Эффективность кластеризации зависит от нескольких вещей:

• объема и качества выявленных запросов для каждого кластера (попали ли туда все необходимые ключи);
• релевантности контента страницы своему кластеру (будет ли пользователь удовлетворен содержимым страницы);
• совместимости запросов в пределах одной страницы (не размывается ли релевантность из-за ключей с разным интентом).

Ни один группировщик семантики не способен на автомате разделить семантику на группы идеально точно и без косяков. Но на качество результатов автоматической группировки можно влиять: выбрать наиболее корректный сервис или программу-кластеризатор, грамотно подготовить семантику, провести ручную проверку кластеров.

Автоматическая кластеризация имеет массу преимуществ, главное из которых скорость работы и точный сравнительный анализ огромного массива данных. Человеку понадобятся месяцы кропотливой работы на то, что сервис сделает за несколько минут.

Но ручную кластеризацию никто не отменял. Все группировщики ошибаются, часть ключевиков остается за бортом кластеров, потому что проверка не выявила пересечений. Человеку проще разобраться со смысловыми нюансами, разгадать интент запроса и определить корректность выявленных групп. Поэтому самые точные результаты дает автоматическая кластеризация с последующей ручной корректировкой.

Ошибки при кластеризации

Если грамотная кластеризация позитивно отражается на продвижении, то ошибки группировки способны загубить проект, даже с качественно собранной семантикой.

Самые частые ошибки:

• запросы с разным интентом в одном кластере;
• ключи не соответствуют тематике страницы;
• нет синонимов в собранном СЯ;
• неполное СЯ только с ВЧ и СЧ-запросами;
• слишком объемные кластеры с кучей ключевых фраз;
• СЯ не очищено от мусора (дублей, левых ключей, запросов с нулевой частотностью, ошибок, опечаток, спецсимволов).

Все эти косяки в итоге ведут к размытию релевантности и ухудшению поведенческих факторов, это дорога к низкому ранжированию в поисковиках.

Выводы

Кластеризация — суперважный этап подготовки семантического ядра. На этапе разработки делать структуру сайта без кластеризованной семантики просто преступление и деньги на ветер. Хорошая структура всегда выстраивается на базе запросов, объединенных в грамотные кластеры.

Кластеризация нужна и для готовых сайтов: с уточнения семантики и группировки ключевиков начинаются работы по оптимизации.

Но единожды собрав и сгруппировав ядро, нельзя вечно почивать на лаврах. В топе идет постоянный движ, поисковые алгоритмы меняются, хитроумность сеошников растет, поэтому ваши, с таким трудом собранные запросы постепенно покрываются мхом. Семантику надо время от времени обновлять, убирать со страниц устаревшие ключи, добавлять что-то новое.