Как сделать семантическое ядро сайта — пошаговое руководство

Как сделать семантическое ядро сайта — пошаговое руководство

Антон Рева
13 ноября, 2015

Учитывая постоянную борьбу поисковых систем с различными накрутками ссылочных факторов, правильная структура сайта всё больше выходит на первый план при проведении поисковой оптимизации сайта.

Один из основных ключей для грамотной проработки структуры сайта — является максимально детальная проработка семантического ядра.

Как сделать семантическое ядро для сайта - практическое руководство от SeoProfy

На данный момент, существует достаточно большое количество общих инструкций как делать семантическое ядро, поэтому в данном материале, мы постарались дать больше деталей, как именно его делать и как это делать с минимальными затратами времени.

Мы подготовили руководство, которое отвечает пошагово на вопрос, как создать семантическое ядро сайта. С конкретными примерами и инструкциями. Применив которые, вы сможете самостоятельно создавать семантические ядра для продвигаемых проектов.

Статьи в тему:

Что такое семантическое ядро сайта?

Семантическое ядро для региональных сайтов — пошаговое руководство

Поскольку данный пост достаточно практический, то очень много различной работы будет выполнено через Key Collector, так как он довольно много экономит времени при работе с семантическим ядром.

1.   Формирование генерирующих фраз для сбора

Расширяем фразы для парсинга одной группы

Для каждой группы запросов очень желательно сразу расширить синонимами и другими формулировками.

Например, возьмем запрос “купальники для плавания” и получим еще различные переформулировки с помощью следующих сервисов.

Wordstat.Yandex — правая колонка

Wordstat.Yandex - правая колонка

Prodvigator.ua — похожие фразы

Prodvigator.ua - похожие фразы

В итоге для заданной изначально фразы мы еще можем получить по 1-5 других различных пере формулировок по которым дальше необходимо будет собирать запросы в рамках одной группы запросов.

1-5 других различных пере формулировок

2. Сбор поисковых запросов из различных источников

После того как мы определили все фразы в рамках одной группы переходим к сбору данных из различных источников.

Оптимальный набор источников парсинга для получение максимально качественных данных на выходе для рунета это:

Wordstat.Yandex - левая колонка

●     Wordstat.Yandex — левая колонка

●     Google AdWords (+ собирать только тесно связанные варианты)

Google AdWords (+ собирать только тесно связанные варианты)

●     Поисковые подсказки Yandex + Google (с перебором по окончаний и подстановки букв перед заданной фразой)

Поисковые подсказки Yandex + Google

Подсказка: если вы не используете при своей работе прокси, то для того чтобы ваш IP не банился поисковыми системами, то желательно использовать такие задержки между запросами:

такие задержки между запросами

●     SEMrush — соответствующая региональная база

SEMrush - соответствующая региональная база

●     Кроме этого, также желательно в ручном режиме импортировать данные из база данных Prodvigator’а.

Для буржунета используем тоже самое, кроме данных из Wordstat.Yandex и данных по поисковым подсказкам ПС Yandex:

Для буржунета используем тоже самое, кроме данных из Wordstat.Yandex

●     Google AdWords (+ собирать только тесно связанные варианты)

●     Поисковые подсказки Google (с перебором по окончаний и подстановки букв перед заданной фразой)

Поисковые подсказки Google

●     SEMrush — соответствующая региональная база

SEMrush - соответствующая региональная база

●     аналогично используем импорт из база данных Prodvigator’а.

Кроме этого если ваш сайт уже собирает поисковый трафик, то для общего анализа поисковых запросов в вашей теме желательно выгрузить и все фразы из Yandex.Metrika и Google Analytics:

Yandex.Metrika и Google Analytics

И уже для конкретного анализа нужной группы запросов можно с помощью фильтров и регулярных выражений вычленить те запросы, которые нужны для анализа конкретной группы запросов.

3. Чистка запросов

После того как все запросы собраны нужно провести предварительную чистку полученного семантического ядра.

Чистка с готовыми списками стоп слов

Для этого желательно сразу воспользоваться готовыми списками стоп слов как общими, так и специальными по вашей тематики.

Например, для коммерческой тематики такими фразами будут:

● бесплатно, скачать, …

●     рефераты, википедия, вики, …

●     б/у, старые, …

●     работа, профессия, вакансии, …

●     сонник, сон, …

●     и другие такого плана.

Кроме этого, сразу чистим от всех городов России, Украины, Белоруссии, … .

Для этого переходим в специальное окно “Стоп-слова”:

Для этого переходим в специальное окно “Стоп-слова”:

и загружаем наши готовые списки или сразу через буфер, или открыв подготовленный файл у себя на компьютере:

и загружаем наши готовые списки или сразу через буфер, или открыв подготовленный файл у себя на компьютере

После того как мы загрузили весь список своих стоп слов, то выбираем опцию тип поиска вхождений “независимый от словоформы стоп-слова” и нажимаем “Отметить фразы в таблице”:

Отметить фразы в таблице

Таким образом мы удаляем очевидные фразы с минус словами.

Чистка стоп-слов в ручном режиме

После того как мы прочистили от очевидных стоп слов, дальше уже необходимо просмотреть семантическое ядро в ручном режиме.

1. Один из быстрых способов это: когда мы встречаем фразу с очевидными не подходящими для нас словами, например, бренд который мы не продаем, то мы

● напротив такой фразы нажимаем слева на указанную иконку,

●     выбираем стоп слова,

●     выбираем список (желательно создать отдельный список и назвать его соответственно),

●     сразу, по необходимости, можно выделить все фразы которые содержат указанные стоп слова,

●     добавить в список стоп-слов

Чистка стоп-слов в ручном режиме

2. Второй способ быстро выявить стоп-слова это воспользоваться функционалом “Анализа групп”, когда мы группируем фразы по словам которые входят в эти фразы:

Анализа групп

и в сгруппированных списках уже быстро отметить не нужные группы фраз:

и в сгруппированных списках уже быстро отметить не нужные группы фраз

В идеале, чтобы повторно не возвращаться к определенным стоп словам желательно все отмеченные слова занести в определенный список стоп слов.

Это можно, например, сделать с помощью отправки всех слов из целиком отмеченных групп:

Это можно, например, сделать с помощью отправки всех слов из целиком отмеченных групп

в итоге, мы получим список слов для отправки в список стоп слов:

в итоге мы получим список слов для отправки в список стоп слов.

Но, желательно, данный список также быстро посмотреть, чтобы туда не попали не однозначные стоп слова.

Таким образом можно быстро пройтись по основным стоп словам и удалить фразы, которые содержат данные стоп слова.

Чистка неявных дублей

●     собираем данные по частотности фраз в Google Adwords

собираем данные по частотности фраз в Google Adwords

●     сортируем по убыванию частоты для этой колонки

и через Анализ неявных дублей:

Анализ неявных дублей

удаляем различные перестановки слов в фразе и фразы с разными падежами:

удаляем различные перестановки слов в фразе и фразы с разными падежами

В итоге оставляем только самые частотные фразы в таких подгрупках, а всё другое удаляем.

Чистка фраз, которые не несут особой смысловой нагрузки

Кроме вышеперечисленной чистки слов, также можно удалить фразы которые не несут особой смысловой нагрузки и не особо повлияют на поиск групп фраз под создание отдельных посадочных страниц.

Например, для интернет магазинов можно удалить такие фразы, которые содержат следующие ключевые слова:

● купить,

●     продажа,

●     цена,

●     интернет магазин, … .

Для этого мы создаем еще один список в Стоп-словах и заносим данные слова в этот список, отмечаем и удаляем со списка.

4. Группировка запросов

После того как мы вычистили от самых очевидных мусорных и неподходящих фраз, дальше можно уже приступать к группировке запросов.

Это можно делать в ручном режиме, а можно воспользоваться некой помощью от поисковых систем.

Собираем выдачу по нужной поисковой системе

В теории лучше собирать по нужному региону в ПС Google

● Google достаточно хорошо понимает семантику

● его легче собирать, не так банит различные прокси

Нюансы: даже для украинских проектов лучше собирать выдачу по google.ru, так как там сайты лучше выстроены по структуре, поэтому, проработку по посадочным страницам получим значительно лучше.

Собираем топ 10 или топ 20. И дальше на основе похожих урлов в выдаче поисковых систем можем найти похожие фразы, которые схожи по смыслу и подразумевают одинаковую проблему пользователей.

Сбор таких данных можно производить

●     как в Key Collector

как в Key Collector

●     так и с помощью других инструментов.

Если у вас достаточно много фраз, то для сбора данных выдаче поисковых систем тут уже явно понадобятся прокси. Оптимально по скорости сбора и работы показывает связка A-Parser’a + прокси (как платные, так и бесплатные).

Группируем на основе выдачи

После того как мы собрали данные выдачи, то теперь производим группировку запросов. Если вы собрали данные в Key Collector, то дальше можете произвести группировку фраз прямо в нём:

Группируем на основе выдачи

Нам не очень нравиться как это делает KC поэтому у нас свои наработки, которые позволяют получить значительно лучше результаты.

В итоге, с помощью такой группировки нам удается довольно быстро объединить запросы с разной формулировкой, но с одной проблемой пользователей:

но с одной проблемой пользователей

В итоге, это приводит к хорошей экономии времени финальной обработки семантического ядра.

Если у вас нет возможности самому собирать выдачу с помощи прокси, то можно воспользоваться различными сервисами:

●     Rush-Analytics

●     Just-Magic

Они помогут вам в быстрой группировке запросов.

Финальная группировка на основе потребностей пользователей

После такой кластеризации на основе данных выдачи в любом случае нужно проводить дальнейший детальный анализ каждой группы и объединять похожие по смыслу.

Например, такие группы запросов в итоге нужно объединить на одну страницу сайта

Финальная группировка на основе потребностей пользователей

Самое главное: каждая отдельная страница на сайте должна соответствовать одной потребности пользователей.

5. Создание структуры сайта

После такой обработки семантики на выходы мы должны получить максимально подробную структуру сайта:

●     категории и подкатегории сайта

●     фильтры для категорий

●     информационные запросы

Например, в случае с купальниками мы можем сделать вот такую структуру сайта:

Создание структуры сайта

и уже внутри сделать подробные фильтры с отдельными посадочными страницами:

и уже внутри сделать подробные фильтры с отдельными посадочными страницами

которые будут содержать свои title, description, текст (за надобностью) и товары/услуги/контент.

6. Расширение семантики в рамкх групп

В итоге, после того как мы уже детально разгрупировали все запросы, можно уже приступить к детальному сбору всех ключевых запросов  в рамках одной группы.

Для быстрого сбора фраз в Key Collector мы:

●     отбираем основогенерирующие фразы для каждой группы

●     объедением их в формате “Категория:фраза” используя функцию СЦЕПИТЬ/CONCATENATE

Расширение семантики в рамкх групп

Дальше, заходим и один из парсеров в KC, например парсинг Wordstat.Yandex

1.    вставляем сцепленные фразы

2.    нажимаем на шестеренку

3.    отмечаем галочкой режим импортирования “Группа:Ключ”

4.    и распределяем по группам

Дальше заходим и один из парсеров в KC, например парсинг Wordstat.Yandex

В итоге создаются группы и фразы теперь будут парситься сразу по нужным группам:

В итоге создаются группы и фразы теперь будут парситься сразу по нужным группам

Дальше, чтобы собрать данные из другого источника, нам нужно сохранить данное распределение фраз. Поэтому, когда мы уже заходим в другой источник, то мы просто копируем такое распределение по группам:

●     заходим, например, в парсинг подсказок

●     выбираем распределить по группам

●     выбираем из выпадающего списка “Скопировать фразы из” Yandex.Wordstat

●     нажимаем Копировать

●     и начинаем сбор данных из другого уже источника, но по тем же распределенным фразам в рамках групп.

когда мы уже заходим в другой источник, то мы просто копируем такое распределение по группам

В итоге

Давайте рассмотрим теперь цифры.

Для темы “купальники” изначально из всех источников нами было собрано больше 100 000 различных запросов.

На этапе чистки запросов нам удалось сократить кол-во фраз на 40%.

После этого мы собрали частотность по Google AdWords и для анализа оставили только те которые были с частотностью больше 0.

Это нам позволило работать уже с около 2200 основными запросами в данной теме.

Это нам позволило работать уже с около 2200 основными запросами в данной теме.

После этого мы сделали группировку запросов на основе выдачи ПС Google и нам удалось получить около 500 групп запросов в рамках которых мы уже проводили детальный анализ.

В итоге, мы определили около 100 основных потребностей клиентов под каждую из которых мы создали отдельные страницы:

В итоге, мы определили около 100 основных потребностей клиентов под каждую из которых мы создали отдельные страницы

Заключение

Надеемся, что данное руководство поможет вам значительно быстрее и качественнее собирать семантические ядра для своих сайтов и пошаговое ответит на вопрос как собрать семантическое ядро для сайта.

Удачного сбора семантических ядер, и в результате качественного трафика на ваши сайты. Если у вас остались вопросы будем рады на них ответить в комментариях.

Понравилась статья? Получай свежие статьи первым по e-mail

Оцените статью:
совсем плохоплохонормальнохорошокласс (43 оценок, средняя: 4,98 из 5)
Загрузка...
  • Очень здорово все показали. Мне как раз тема одежды близка. А что у вас есть почитать о том, как развести для гугла похожие лендинги, то есть такие, которые мало отличаются по фактическому контенту.
    Если брать купальники, то во многих случаях одни и те же товары попадут на разные лендинги

    • Anton Reva

      в данном случае, с товарами на разных лендингах:
      — можно чуть текста уникального добавить,
      — выводить товары в другом порядке, а не везде одинаково.

  • Вы убили своей статьей бизнес Саши Павлуцкого))) лол

  • Денис Белецкий

    а если нет возможности приобрести Key Collector?

    • тогда все вообще печаль))

    • Я словоебом СЯ собирал, правда «сортировку» фраз и т.д. — все в ручном режиме делал, очень долго, но все же эффективно) Сейчас еще продвигатором пользуюсь, полезная штуковина 🙂

      • Денис Белецкий

        Спасибо. Слава Богу есть люди которые могут пояснить и предложить идею, а не глупые комментарии — типа предыдущего…

        • Anton Reva

          та нормальный комментарий.
          просто вы посчитайте сколько стоит ваше время и сколько вам сэкономит в итоге KC времени.

          • Денис Белецкий

            я ничего против не имею КС, и его функционал отличный, и достойное описание в статье, но и мой вопрос касался не только его стоимости, я не имею возможности его купить, моё время стоит всего 10$ в день максимум, но нормальной альтернативы КС нету, вот и спросил, что новичку можно сделать???? который не заработал денег.

          • Anton Reva

            тогда, хотя бы просто пользуйтесь яндекс.вордстатом, гугл.адвордсом, поисковыми подсказками.
            действительно словоебом можно воспользоваться на начальных этапах.

          • Денис Белецкий

            Спасибо!

  • Andrey Kuskov

    спасибо за статью, если не секрет, то какие именно наработки используете при группировке фраз, если кс плохо с этим справляется?

    • свой маленький внутренний кластеризатор

      • Александр

        На каких принципах строите свой маленький внутренний кластеризатор если не секрет?

    • Anton Reva

      да, по своим алгоритмам (но, они стандартные) + просто в удобном для нас виде, получаем итоговые результаты.

  • cho-cho.ru

    Вроде работаешь-работаешь с КС, а еще столько не освоенного. Надо подтянуть кластеризацию

  • Andrey Shramko

    хм, не совсем понял, почему для интернет-магазинов так же нужно избавиться от запросов с фразами купить, продажа, цена и интернет-магазин??

    • Anton Reva

      1. мы избавляемся от них на этапе анализа разных потребностей пользователей. Фраза с данными словами не нужны, так как на этапе кластеризации и потом ручной просмотра фраз будет лишний шум.
      2. фразы с указанными вами словами появятся на этапе расширения сем. ядра для каждой группы.

  • А где поиск конкурентов?) Сбор запросов по конкурентам с помощью адводки, спайвордса и т.д. не делаете такого?

    • Anton Reva

      та кому оно надо …
      на самом деле делаем, но, тогда статью пришлось бы раздуть до очень больших размеров. Возможно, сделаем отдельный материал на эту тему.

  • Спасибо!

  • Платон Щукин

    Здравствуйте.

    Используете КЕИ для определения точности фразы (наличия хвостов), конкурентности?

    • Anton Reva

      Платон, очень приятно, что вы к нам на блог зашли.
      да, иногда используем, для более детального анализа.

  • Антон, привет

    Используете ли в работе базы Пастухова, moab?
    Или же распрарсиваете под каждый проект по живому?

    • Anton Reva

      Приветствую, Игорь.

      Да, конечно, мы используем эти базы.
      Но, на самом деле можно и без них обходиться. они дают не очень большой прирост хороших ключе/потребностей пользователей, если пользоваться теми источниками что указанны в статье.

    • dendaman

      в пастухове самом свежем часто неверные показатели для достаточно популярных ключей (1к+)

  • Anton Reva

    1. ага, но, нужно всё тестить.
    2. да, на втором круге, уже довольно быстро всё можно прочистить, так как списки стоп слов уже есть.

  • А что не так с группировкой в самом KK? Что то кардинально не красиво делает или с чем то не справляется?
    Ранее не когда не использовал эту фичу, захотелось попробовать, но ваша фраза, что не все в нем гуд, насторожила)))

    • Anton Reva

      та более-менее делает, можете пробовать.
      может качество вас и устоит.

  • vetal

    может у вас есть список стоп-слов: по городам, бу, брендам и тд? — поделитесь? или под каждый проект делаете новый?

    • Anton Reva

      возьмите у Шакина, в одном из недавних постов!

      • vetal

        спасибо, давно не читал его блог:)

  • masterfunky

    «сразу чистим от всех городов России, Украины, Белоруссии, »

    «Например, для интернет магазинов можно удалить такие фразы, которые содержат следующие ключевые слова:

    ● купить,

    ● продажа,

    ● цена,

    ● интернет магазин, … .»

    А почему их удаляем? Целевые же словосочетания…

    • Anton Reva

      1. мы избавляемся от них на этапе анализа разных потребностей пользователей. Фраза с данными словами не нужны, так как на этапе кластеризации и потом ручной просмотра фраз будет лишний шум.
      2. фразы с указанными вами словами появятся на этапе расширения сем. ядра для каждой группы.

  • норм дополнение

  • Anton Reva

    ок, пускай дополняет :))

  • Alex Onch

    Блин, че-то у меня в Продвигаторе нет такой кнопки «Похожие фразы»

    • Похожие фразы доступны в тарифе Стандарт

      • Alex Onch

        Вон как. Спасибо!

  • Дмитрий

    Виктор, спасибо за статью. Как раз делали одному интернет магазину подобную семантику, вышло около 32 дополнительных категорий, реализовали не через статику фильтр, а через обычное расширенное меню. Но постал вопрос в продвижении всех этих категорий, вечных не накупишься сразу и много, форумы долго, остается сапа и подобное. Виктор, подскажите целесообразно начать двигать все категории сапой?

    • Anton Reva

      Сапой точно не вариант ни под Google, ни под Yandex.

      Поэтому,
      — качайте основные разделы вечными ссылками
      — остальные перелинковкой внутренней пробуйте

      • Дмитрий

        Так и делаем, но конкуренция наблюдается по всей тематики. Конкуренты в топе за счет саповских стоят неплохо ) Трафик гребут и не жалуются

        • Anton Reva

          на основной сайт, конечно, лучше сейчас не закупать.
          лучше на сателлиты.

        • Constantine

          Это по-старинке, они же раньше закупались, поэтому пока что им такое прокатывает.

    • Constantine

      32 категории — это вообще не много. По одной хорошей ссылке на категорию. Для сайта по-хорошему минимум 50 беков нужно.

  • Denis Denisov

    No comment…Отличная статья! Спасибо!

  • Bohdan Kuzovov

    Здравствуйте, очень интересует данный вопрос. Как правильно реализовать seo-филтр на примере ИМ.

    «и уже внутри сделать подробные фильтры с отдельными посадочными страницами:

    которые будут содержать свои title, description, текст (за надобностью) и товары/услуги/контент.» (с)

  • Bogdan Kuzovov

    И второй вопрос возник, если ориентировать проект только под Google (UA) как посоветуете грамотно комбинировать сбор данных по Google и Yandex , ведь гугл слишком топорные данные дает.
    Я вот благодаря директу и проверке по !слову и умноженному на 2-2.5 хоть примерно могу понимать какой выхлоп получает та или иная словоформа. А то 10,20,50…780…как-то не айс

    • Anton Reva

      не знаю, мы наоборот больше на гугл ориентируемся.
      на его относительные данные.

      если, вам больше нравится яндекс данные, то можете ими пользоваться.

  • Нам не очень нравиться как это делает KC поэтому у нас свои наработки, которые позволяют получить значительно лучше результаты.

    А что за своя разработка? Можно как то посмотреть? Купить?

    • Anton Reva

      Та не, купить нельзя.
      Но, там ничего сложного, просто на основе выдаче чуть улучшили алгоритм группировки.

  • Anton

    Отличная статья!

    Непонял для чего нужно удалять неявные дубли? Я пытаюсь наоборот собрать найбольшее кол-во ключей с трафиком и потом их в adwords вставлю. Собрал по максимуму запросов, потом присвоил им тип соответствия [точное] и запустил рекламу. Наверное я что-то упустил, но я так понимаю должно быть.

    • Anton Reva

      для рекламы то да, но тут, наверное, больше сделан упор на семантическое ядро в разрезе максимального кол-ва правильных релевантных страниц.
      а дальше уже в рамках каждой страницы можете макс. расширять его.

    • Constantine

      Думаю, что потому, что потом будут у вас конкурировать ключевые фразы в текламе, если вы не удалите неявные дубли.

  • Alex Voloshchuk

    Добрый день!

    Подскажите, на пункте:

    Группируем на основе выдачи

    После того как мы собрали данные выдачи, то теперь производим группировку запросов. Если вы собрали данные в Key Collector, то дальше можете произвести группировку фраз прямо в нём:

    куда нажимать, что бы разбивка на группы закончилась. Пробовал указанные на скрине кнопки, ничего не происходит.
    Спасибо

  • Классная инструкция по шагам. Все очень исчерпывающе и в тоже время не скучно повествуется.

    Обязательно добавлю эту статью в свой дайджест лучших материалов по интернет маркетингу за 2015 год.

    • Anton Reva

      Спасибо за хороший отзыв.
      В общем всегда стараемся радовать вас хорошими материалами.

  • Constantine

    Мне кажется, что парсинг с созданием групп нужно использовать очень осторожно. К примеру, мы хотим создать 3 группы: Вспышки Yongnuo, Вспышки Canon, Вспышки Nikon. В итоге, в группу Вспышки Canon у нас попадет также ключ «вспышка Yongnuo для Canon». Хотя, это все решается очень просто потом с помощью задания стоп-слов по каждой группы, но все равно об этом нужно помнить. Статья — просто отменная. Расшарил.

  • Constantine

    Игорь, все ваши видео по Коллектору на YouTube очень стоящие.

  • Ольга

    Ах, какое большущее Вам спасибо за эту статью!

  • pio875190

    Спасибо! Полезная статья

  • Serzh Tester

    Здравствуйте. Огромное спасибо за материал! Вы написали «желательно в ручном режиме импортировать данные из база данных Prodvigator’а», т.е. импортировать поисковые запросы, подсказки, похожие ключевые слова? На этапе расширения семантики лучше собирать запросы по нужному региону, или по всем?

    • 1. уже можно и в не ручном режиме, продвигатор добавили в КК.

      2. на первом этапе: и поисковые запросы, и подсказки.
      А вот похожие ключевые слова, уже на втором этапе, когда всё разбито на группы.

      • Serzh Tester

        Спасибо за ответ! А что насчет второго вопроса? Когда идет расширение семантики, есть ли смысл брать все регионы, или выбирать тот где продвигаешься (т.е. подмешивается низкочастотка, а по нужному региону достаточно запросов может и не быть)?

        • 2. даже для регионов, мы всегда стараемся собирать 2 частотности общую и региональную.
          и при создание посадочных страниц даже если для региона стоят 0-вые значения, а по общей группе есть данные больше нуля, то создаем и такие страницы.

          • Serzh Tester

            Спасибо за ответы)