Что такое парсер яндекс вордстат

Парсер Wordstat для статистики запросов Яндекса: зачем нужен, как пользоваться и сколько стоит

Рассказываем, как собирать статистику запросов Яндекса с помощью парсера Wordstat, для чего эта статистика нужна и что такое «Яндекс.Wordstat». В каких случаях стандартный инструмент Яндекса не подходит и без автоматизации не обойтись. Как использовать парсер Wordstat от Click.ru.

О статистике запросов Яндекса и Вордстате

«Подбор слов» (wordstat.yandex.ru) – бесплатный сервис статистики поисковых запросов в Яндексе. Он показывает, как часто пользователи ищут в поиске то или иное слово или фразу.

Рекомендуем: Click.ru – маркетплейс рекламных платформ:

С этим инструментом знакомится каждый, кто только начинает изучать продвижение в интернете: поисковую оптимизацию (SEO), контекстную рекламу (в Директе), контент-маркетинг.

Сама статистика поисковых запросов (ключевых слов, фраз или просто ключей) нужна предпринимателям, маркетологам и другим диджитал-специалистам для:

Зачем нужен специальный парсер Wordstat

Стандартный бесплатный инструмент Яндекса не предусматривает автоматизации. Подобрать ключевые слова и узнать статистику запросов в Вордстате можно только вручную. Вручную – значит долго и трудозатратно. И бессмысленно при большом объеме работы.

Конечно, функциональности Wordstat должно хватить, если нужно написать небольшую статью в блог или, например, настроить пару объявлений на один товар. Но что, если:

В таких случаях единственное решение – парсер Wordstat.

Как пользоваться парсером Wordstat от Click.ru

В числе инструментов Click.ru как раз есть функциональный и недорогой парсер Wordstat. Он быстро выдает частотность даже по большому списку запросов. При этом учитывает типы соответствия и региональность. Еще не требует капчу и прокси-серверы, а отчеты позволяет выгружать в Excel и хранить в «облаке».

Для начала парсинга перейдите в соответствующий раздел

Как работать с парсером Wordstat после регистрации в Click.ru:

Загрузите список запросов.

Есть два способа: скопировать и вставить ключи в специальное поле или же загрузить XLSX-файл с ними.

Этап загрузки запросов

Выберите регионы.

В системе доступны все регионы Яндекса. Можно посчитать общую частотность по нескольким регионам или получить статистику отдельно по каждому.

Разделять регионы в отчете нужно, если вы планируете продвигать бизнес отдельными региональными поддоменами и посадочными страницами, привязанными к географии. В остальных случаях галочка не ставится.

Выбираем регионы

Укажите тип соответствия.

Широкое соответствие – когда фразы пробиваются как есть – часто показывает обманчивую частотность. Все из-за того, что учитываются все вложенные ключи, в том числе нерелевантные (как в примере с игрушками). То есть всегда лучше перепроверять частоту запроса с помощью специальных операторов.

Кавычки позволяют уточнять статистику по конкретной фразе, без учета вложенных ключей.

Кавычки с восклицательными знаками показывают частотность по заданным словоформам.

Квадратные скобки – фиксируют порядок слов, что особенно важно в туристическом бизнесе

Все варианты типов соответствия

Запустите проверку.

Время сбора частотностей зависит от количества запросов, регионов и типов соответствия. Если запросов меньше 1 000, процесс займет 1–2 минуты.

Результат будет доступен в списке задач. Можно открыть отчет в браузере или скачать его в формате XLSX.

Здесь будут появляться отчеты со статистикой

Сколько стоит парсинг Вордстата

Cтоимость парсинга в Click.ru в 3–5 раз ниже, чем у конкурентов. Особенно если нужна проверка большого пула поисковых запросов, например, для e-commerce.

Для тарификации в парсере используется базовая единица – ТЗ. Один ТЗ равен получению статистики одного ключа по одной группе регионов. Так, если разделить частотность по регионам, стоимость парсинга будет расти пропорционально числу регионов.

Источник

Парсер вордстата

Парсеры Вордстат: какой выбрать?

Парсер — программа для автоматического сбора и обработка синтаксической информации во всемирной паутине. Самостоятельно анализировать ключевые слова запросы из Wordstat онлайн бывает сложно и неудобно. Первое правило любого специалиста — автоматизировать все, что можно и пользоваться готовым результатом. Для автоматического парсинга используются программы парсеры или сервис онлайн.

Главные выгоды автоматизации:

Ниже рассмотрены самые популярные парсеры Яндекс Вордстат. Рассмотрим известные программы и сервисы, а так же их плюсы и минусы.

Key Collector (Кей Коллектор)

Платный парсер, вобравший в себя практически все необходимые функции. Программное обеспечение собирает данные о ключевых фразах, снимает позиции сайта, выявляет ценность, уровень конкурентности фраз и предлагает дополнительные услуги.

Key Collector — полноценная система для продвижения сайта. Оптимизатору доступна возможность получать рекомендации по перелинковке между страницами сайта. Программное обеспечение предназначено для крупных проектов и опытных пользователей.

Данные о ключевых фразах собираются из множества источников. В том числе, оптимизатору доступны данные о поисковых подсказках. Семантическое ядро формируется в автоматическом режиме.

Программа платная. Необходимо приобрести лицензию — стоимость не более 1800 — 1900 рублей. При покупке нескольких лицензий предоставляется скидка. Одна лицензия устанавливается на 1 ПК.

Словоеб

Парсер с неблагозвучным названием «Словоеб» подходит для новичков в деле продвижения сайтов. Программа собирает информацию непосредственно с Wordstat, игнорируя другие источники. Формировать семантическое ядро предполагается в ручном режиме, а для работы потребуется авторизоваться в сервисах Яндекса.

Полезная информация: никогда не используйте настоящий аккаунт для работы Словоеба. Поисковик не рад сбору информации со своих сервисов, поэтому банит таких пользователей.

Словоеб — бесплатный аналог знаменитого Key Collector. Как полагается бесплатному аналогу, здесь существенно урезаны функции. Тем не менее, для небольшого информационного сайта или блога более чем достаточно.

Магадан

Парсер ключевых слов Магадан един в двух лицах вариант Lite распространяется совершенно бесплатно. Хотя программа имеет незначительные символические ограничения, даже бесплатная версия помогает выполнить большинство задач.

Существует платная версия программного обеспечения, которая распространяется по символической плате в 1 500 рублей. Среди наиболее ярких различий двух версий:

В целом, Магадан по праву считается одним из наилучших парсеров среди представленных в рунете.

Сравнение Lite и Pro версий

Парсер «Магадан» доступен в 2 версиях — Lite (бесплатная) и Pro (1500 рублей).

Word Keeper

Парсер Word Keeper работает онлайн и предоставляет доступ к семантическому ядру с абсолютно любого устройства. Главное требование — наличие выхода в интернет.

Скорость сбора информации поражает — 11 000 фраз или частотностей всего за 1 минуту. При этом, сервис предлагает 4 тарифных плана:

Парсер удобный для тех, кто нуждается в максимальной мобильности и кто готов к некоторым ограничениям функциональности и ежемесячной плате за пользование.

PromoPult

Еще один парсер, которым можно пользоваться онлайн. Бесплатно доступно 50 запросов чтобы пользователь мог познакомиться с инструментом, изучить его особенности. Для парсинга запросов можно использовать как файлы XLCX или вводить ключевые фразы вручную.

Можно выбирать конкретный регион для парсинга, а результаты проведенного исследования сохранять в облаке. Срок хранения неограничен. При необходимости, вы можете в любой момент обратиться к ранее созданному отчету и просмотреть его.

Полезная информация: сервис позволяет отказаться от необходимости вводить капчу или использовать прокси. Клиент просто запускает работу скрипта, а затем наслаждается полученным результатом. Уведомление об окончании работы приходит на указанный адрес электронной почты.

Цена различается от многих факторов среди которых общее количество запросов, использование дополнительных функций, очередность запросов. Конечная стоимость составляет от 2 до 12 копеек за съем одной позиции.

Источник

Парсеры Яндекс.Вордстат — 11 сервисов и расширений

Яндекс.Вордстат — бесплатный инструмент для сбора ключевых слов для рекламных кампаний и составления семантического ядра сайта. Парсеры позволяют ускорить и автоматизировать процесс сбора ключевиков. Они помогают отслеживать потребности ЦА, полезны при выборе маркетинговой стратегии, создании SEO-текстов и запуске рекламы. Парсеры — это один из инструментов работы SEO-специалистов.

В статье расскажем, какие парсеры подходят для сбора ключевых слов из Яндекс.Вордстат.

Рекомендуем: Click.ru – маркетплейс рекламных платформ:

11 парсеров Яндекс.Вордстат: онлайн-сервисы, программы и бесплатные расширения

Рассказываем кратко о возможностях каждого сервиса. Основная функция большинства парсеров — поиск частотности по заранее заданному списку запросов. С разбивкой по регионам. Если кроме частотности нужен поиск запросов, связанных с исходным словом или похожие запросы, нужно уточнять, есть ли такая функция в сервисе.

P.S. Парсер может быть в виде самостоятельного сервиса, одной из функций другого сервиса или в виде расширения для браузеров. Чаще всего такие парсеры входят в функционал сервисов по комплексному продвижению в Интернете.

1. Key Collector

Key Collector — профессиональный инструмент для сбора семантического ядра. Это отдельная программа, которая устанавливается на ПК. Собирает ключевики из нескольких источников (более 30), а не только по Яндекс.Вордстат.

Возможности:

Дополнительная фишка: регулярные бесплатные обновления, коммьюнити пользователей.

Цена: бессрочная лицензия — 2 200 рублей без абонентской платы.

2. Парсер Wordstat от Click.ru

Парсер встроен в Click.ru — сервис для комплексной настройки и ведения рекламных кампаний.

Возможности:

Дополнительные фишки: не нужно использовать прокси-серверы и вводить капчу.

Цена: доступно 50 запросов для теста, далее цены зависят от задачи и количества запросов. В среднем — от 0.02 до 0.12 рублей за запрос.

3. Парсинг поисковых подсказок от Пиксель Тулс

Парсер в составе сервиса Пиксель Тулс. Сам сервис включает в себя несколько инструментов для SEO-продвижения. Парсер позволяет найти схожие ключевики на основе подсказок Яндекса.

Возможности:

Цена: инструмент доступен только в составе сервиса Пиксель Тулс, отдельно оплатить нельзя. Тарифы сервиса — от 950 до 12 990 рублей в месяц.

4. Парсер от Rush Analytics

Это тоже инструмент в составе сервиса для комплексного SEO-продвижения.

Возможности:

Дополнительные фишки: высокая скорость парсинга (100 запросов в секунду), не нужно использовать прокси и вводить капчи. Есть инструмент проверки индексации.

Цена: чтобы пользоваться инструментом, нужно оплатить весь сервис (от 999 рублей в месяц при оплате за год). При этом оплата за запрос — 0,03 рубля за страницу Вордстат или 1 рубль за 40 страниц.

5. OverLead

Онлайн сервис для сбора ключевых слов с Яндекс.Вордстат.

Возможности:

Дополнительная фишка: + 100 рублей на баланс после регистрации, можно протестировать сервис. Не нужны прокси и капчи.

Цена: от 1 рубля за 60 ключей или 40 страниц. За 100 рублей можно собрать 7 500 ключей или 5 000 страниц.

6. MOAB.Tools Семантика

Онлайн-сервис для сбора семантики. Простой в использовании, без прокси, без капч. За 32 минуты можно собрать 2 млн фраз.

Возможности:

Дополнительные фишки: 5 000 фраз в подарок. Интеграция с Key Collector. Бонусы при покупке сервиса.

Цена: видна после регистрации и тестового периода.

7. Мутаген

Мутаген — это сервис для оптимизаторов, вебмастеров и копирайтеров. Один из инструментов — парсер Яндекс.Вордстат и Директ.

Возможности:

Цена: 2 копейки за запрос.

8. Букварикс

Программа для подбора слов по списку исходников или одному исходному слову.

Возможности:

Цена: ограниченная версия бесплатная, есть продвинутая за 695 рублей в месяц.

9. Парсеры — расширения для браузера

Расширения могут быть частью платного сервиса или самостоятельными. Во втором случае у них обычно ограниченный функционал, который подходит для небольших проверок.

Несколько полезных расширений:

Yandex Wordstat Assistant — ускоряет сбор фраз и определение частотности. Есть автоматическая проверка на дубли. Также есть несколько режимов сортировки: по порядку добавления, по алфавиту, по частотности.

WordStater для Wordstat — расширение от сервиса UTA-manager. Позволяет собрать семантику по конкретной ключевой фразе или списки минус-слов из Вордстата. Дополнительно можно спрогнозировать стоимость клика и количество посетителей Яндекс.Директ по собранным запросам.

Yandex Wordstat Helper — по принципу работы похоже на расширение Yandex Wordstat Assistant. Это виджет, который отображается на страницах Вордстата. Возможности: сбор ключевиков, проверка на дубли, автоматическая сортировка по алфавиту, копирование в один клик.

Заключение

Между парсерами Яндекс.Вордстат не так много отличий. Например, поиск частотности по слову или списку — стандартная функция парсера. У одних чуть больше функций, у других чуть меньше. А также отличаются лимиты и цена.

Источник

Парсеры вордстата

WordStat от Яндекс используется для анализа поисковых запросов, количества просмотров по регионам, сезонности. Но интерфейс и ограниченная функциональность делают сервис неудобным для обработки большого числа ключевых слов. Выход – использование парсеров.

Какие есть парсеры для Вордстата?

Обработка запросов в ВордСтат возможна только в ручном режиме. Это увеличивает время формирования семантического ядра (СЯ) даже для небольшого проекта. Для автоматизации разрабатывают программы и онлайн-сервисы – парсеры. Они собирают данные статистики Яндекс, используя технологию API и другие программные комплексы. В итоге пользователь может обрабатывать большой объем информации.

Цель работы парсеров – актуальная статистика ключевых фраз с возможностью углубленного анализа по параметрам. Это реализуется следующими способами:

Выбор зависит от объема запросов и точности результатов. Онлайн-сервисы скачивают данные из Яндекса, чтобы уменьшить время формирования отчета. Поэтому информация не объективная. На это влияет частота обновления баз конкретного парсера.

Программы парсеры

Для точной обработки ключевых слов рекомендуется использовать программные комплексы. Преимущество – они работают напрямую с базами данных Ворстат. Полная версия платная, некоторые разработчики предоставляют демо-режим с ограниченным функционалом.

Кей Коллектор

Программа «Кей Коллектор» популярна среди разработчиков и СЕО-оптимизаторов. Причины – работа с популярными поисковыми системами, сегментация выборок по параметрам пользователя. Предоставляется только на платной основе, стоимость зависит от количества приобретаемых лицензий.

Особенности «Кей Коллектор»:

Возможен многопоточный режим работы. Но есть вероятность получения бана или многократного ввода капчи при формировании нескольких потоков запроса информации с одного IP. Возможен сбор информации через Яндекс.Директ, что уменьшает скорость обработки.

Словоёб

Бесплатная альтернатива Кей Коллектор, но с меньшими функциональными возможностями. Отличие – «Словоёб» работает только с Вордстат. При анализе некоторых ключевых фраз могут не учитываться низкочастотные запросы, которые есть в статистике Яндекс.Директ. Глубина эффективного парсинга ограничена 40 страницами.

Особенности программы «Словоёб»:

Программа подходит для формирования СЯ небольшого проекта. Причина – скорость обработки полученных данных, нет углубленного анализа запросов.

Магадан

Программный комплекс «Магадан» по возможностям схож с Кей Коллектором, в том числе – по цене. Отличия – интерфейс и наличие бесплатной версии. Последняя с ограниченным функционалом, что делает ее аналогичной «Словоёбу». Есть полноценная информационная и техническая поддержка как для версии Lite, так и для Pro.

Технические ограничения в бесплатном варианте программы:

Несмотря на такие ограничения «Магадан» можно использовать для формирования СЯ 1-3 проектов. Но по отзывам пользователей по сравнению с ручной обработкой Вордстата теряются низкочастотные запросы.

Онлайн парсеры

Подобные сервисы появились относительно недавно. Их преимущество – не нужно скачивать и устанавливать локально программные комплексы. Это экономит время, но сказывается на точности выборки КС. Причина – онлайн-парсеры не работают напрямую с базами данных Wordstat, а периодически скачивают их. Недостаток – не все запросы попадают в информационное поле сервиса.

Букварикс онлайн версия

Первым онлайн-сервисом с расширенными возможностями для SEO-оптимизаторов стал «Букварикс». До недавнего времени его использование было полностью бесплатным. Но с вводом нового функционала появилась платная подписка. Ее преимущества – фильтрация по частотности, количеству символов и слов. Есть ограничения для незарегистрированных пользователей. Но эта процедура бесплатная, возможна авторизация через социальные сети.

Особенности работы с «Букварикс»:

Сервис значительно уступает по возможностям аналогичным программам, но прост в использовании. Рекомендован для начинающих оптимизаторов.

Оффлайн парсеры

Возможность парсинга Яндекс Вордстат без доступа к интернету или при его низкой скорости – одно из требований к современным инструментам СЕО анализа. Технически это реализовано просто – на компьютер или аналогичное устройство, скачивается базы Wordstat и затем с помощью программы происходит выборка ключевых слов.

Букварикс десктопная версия

Впервые полноценный десктопный вариант представили разработчики «Букварикс». Однако уже в октябре 2017 года этот проект был «заморожен», ПО и базы данных не обновляются. Компания предлагает все инструменты в онлайн-режиме. Скачать приложение можно на старой версии официального сайта, использование бесплатное.

Что нужно учитывать при использовании десктопной версии:

Информация в этой версии устарела, возможно использование как вспомогательного инструмента.

Бесплатные парсеры

В Сети можно найти бесплатные версии парсеров, которые по заверениям разработчиков ничем не уступают вышеописанным программам и сервисам. Однако в большинстве случаев это «сырой» продукт с рядом недостатков – отсутствие обновлений, неудобный интерфейс, ограниченные функции. Низкая точность выборки, часто возникают ошибки. Причина – Яндекс.Вордстат постоянно изменяется, за этим нужно следить и вносить корректировки в ПО.

Если бесплатное использование является обязательным условием, можно скачать актуальные версии «Словоёб» или «Магадан». Альтернатива – воспользоваться возможностями «Букварикса» после регистрации.

Выбор парсеров зависит от поставленной задачи – объема ключевых фраз, точности выборки и дальнейшей обработки результатов. Для больших проектов рекомендуются платные версии, для ознакомления с возможностями и для составления СЯ для 1-3 сайтов – бесплатные.

Источник

Пишем свой парсер Яндекс Wordstat, используя API Директа!

Автор: Игорь Кантор · Опубликовано 25 января, 2020 · Обновлено 11 марта, 2021

Главная > Инструменты > Пишем свой парсер Яндекс Wordstat, используя API Директа!

Всем привет! В предыдущей статье по Яндекс Wordstat я упомянул о возможности облегчить себе жизнь при подборе ключей с помощью API Директа. Как и обещал, я поделюсь своим скриптом на Python, который автоматизирует процесс сбора ключевых фраз. Разберем, как работает парсер Яндекс Wordstat на конкретном примере и, попутно, научимся получать доступ к API Директа и немножко кодить на Python).

API Директа

Думаю, долго распинаться на тему того, что такое Яндекс Директ необходимости нет) Здесь все более или менее в курсе, что такое реклама в интернете, какие виды рекламы бывают и насколько солидный кусок пирога в этом плане у Яндекса.

Кстати, напомню, что кроме контекстной рекламы существует условно-бесплатный трафик из соцсетей. Обязательно ознакомьтесь с моей статьей на эту тему!

Яндекс дружит с разработчиками и, предоставляет в свободное пользование доступ ко многим сервисам через программный интерфейс (API). За вопросы, которые касаются создания и ведения рекламных кампаний, отвечает сервис Яндекс Директ. И у него тоже есть API! Этим мы и воспользуемся)

API ( application programming interface ) — программный интерфейс приложения.

В частном случае, он позволяет работать с приложением из другого приложения (например, вашего скрипта) без привычного графического пользовательского интерфейса (GUI).

Если по-простому, то вы можете написать программу, которая будет работать с сервисом вместо вас!

Мы будем использовать API Директа, чтобы спарсить выдачу Wordstat по заданному списку ключевых фраз, минус-слов и региону сбора. Т.е. будем делать автоматически то, что в прошлый раз делали с помощью плагина Wordstat.Assistant, НО с возможностью автоматизации и больших объемов сбора (десятки тысяч фраз за раз)!

Сбор ключей нужен не только для настройки рекламных кампаний, но используется для SEO-продвижения сайтов и даже групп ВКонтакте (об этом здесь).

План работы

Может, звучит и сложно, но, на самом деле, пугаться здесь нечего. Сейчас все подробно по шагам разберем. Было бы желание, а от результата точно кайфанёте)

Парсер кроссплатформенный. Это значит, что она работает как на ПК под Windows, так и на Linux и Mac

Создаем приложение в Директе

Первое, что нужно — это создать учетку в Яндексе, если, вдруг, у вас ее еще нет. Далее, переходим на страницу API Директа:

Ниже, в разделе «С чего начать» есть ссылка на подробный мануал по регистрации нового приложения. В конечно счете, нужно попасть на страницу создания нового приложения https://oauth.yandex.ru/client/new:

Заполняем необходимые поля:

Остальное заполнять необязательно. Нажимаем «Создать приложение»:

Попадаем на такую страницу и копируем ID нашего приложения:

ID приложения понадобится при получении отладочного токена, который вы будете передавать из скрипта в приложение при каждом подключении. Этот механизм защищает ваше веб-приложение от несанкционированных подключений. Так, как речь идет об API Директа, т.е. о доступе к рекламному кабинету, где может быть ненулевой баланс, необходимость авторизации обоснована.

Получаем отладочный токен

Мы скопировали ID нашего приложения. Теперь, в адресной строке браузера пишем следующий URL с параметрами:

https://oauth.yandex.ru/authorize?response_type=token&client_id=

Вместо подставляем скопированный ID приложения (без скобок) и переходим по получившейся ссылке. Откроется окно, где указан ваш токен — ключ API Yandex:

Поздравляю! Токен получен. Сохраните этот ключ в надежном месте, его мы будем вставлять в наш парсер Яндекс Wordstat.

Более подробно процесс получения ключа доступа описан в официальной документации.

Отправляем заявку на доступ к приложению

Наберитесь терпения, осталось немного) Чтобы Яндекс разрешил нам работать с приложением, нужно запросить доступ. Есть 2 варианта доступа: тестовый и полный. Для задач парсинга подойдет тестовый доступ, поэтому, именно его мы будем получать.

Заполняем необходимые поля:

Читаем пользовательское соглашение. Если все устраивает, соглашаемся и отправляем заявку. Готово)

Имейте в виду, что на рассмотрение заявки может уйти несколько дней. Пока Яндекс не одобрит заявку, работать с парсером не получится.

Активируем песочницу

Не дожидаясь одобрения заявки, можно завершить последние приготовления, а именно, активировать песочницу. Для этого, перейдите в соответствующий раздел и нажмите кнопку «Начать пользоваться песочницей»:

Песочница — это пространство для тестирования. Вы можете работать с API Директа и, при этом, не сломать свою действующую рекламную кампанию.

Выбираем роль = «Клиент«, ставим галочку «Создать тестовые кампании» и жмем «Продолжить«. Песочница создана:

Проверяем, что ничего не забыли

Проверим, что мы должны иметь на данный момент:

Помним, что на одобрение заявки может уйти несколько дней. Чтобы не терять их впустую, предлагаю заняться подготовкой клиентской стороны (т.е. нашего ПК) к работе с парсером.

Устанавливаем Python

Первое, что нужно сделать — это установить интерпретатор языка Рython (он же — питон). Для этого, заходим на официальный сайт проекта и скачиваем подходящую для нашей системы сборку: https://www.python.org/downloads/

Почему именно Python? Я сделал выбор в пользу питона по двум причинам:

1. Очень низкий порог вхождения: даже непрограммист вполне в состоянии быстро разобраться с основами;

2. В официальной документации на API Директа примеры написаны, в том числе, на питоне

В целом, хотелось бы чуть больше рассказать о том, почему Python так хорош, но в одну статью это не влезет)

Я люблю Python за универсальность. Можно и чат-бота написать и сайты спарсить и рабочую рутину по сведению таблиц Excel автоматизировать. И это не говоря уже о фреймворке Django для веб-приложений на Python!

Приятный бонус — достаточно легко найти высокооплачиваемую работу (если вас это, конечно, интересует). Если задумаете изучить язык на серьезном уровне, рекомендую этот курс. Да, это не быстро (12 месяцев). Да, не бесплатно. Зато, результат обучения с лихвой окупит все вложения.

Дальше все стандартно: запускаем инсталлятор и следуем инструкциям.

Очень удобно, что из коробки вместе с интерпретатором поставляется простенькая среда разработки — IDLE. Конечно, разработчики с опытом уже имеют свою рабочую среду и, понятно, будут работать в ней, но для старта и первого знакомства, IDLE вполне достаточно.

Лично я, в своей работе использую среду Visual Studio Code. Мои скромные потребности она полностью удовлетворяет: интеграция с Git, подсветка и дополнение кода, линтер, встроенный терминал и удобный отладчик. К тому же, она бесплатная) Если захотите чуть глубже окунуться в разработку — рекомендую.

Поздравляю, с подготовкой мы закончили)

Работаем с Yandex.Wordstat-parser

Я написал небольшой класс для работ с API Яндекс Директ в части парсинга ключей из Вордстат. Делал я его для себя и своими силами, поэтому, на идеальный вариант он никак не претендует, но, со своими задачами справляется неплохо) Обсуждение в комментариях приветствуется.

Есть 2 способа установить его: просто скачать с GitHub или с помошью Git (продвинутый способ). Рассмотрим оба варианта.

Качаем парсер Яндекс Wordstat с GitHub

Установка с помощью Git

Тоже самое можно сделать одной простой командой в командной строке, конечно, при условии, что у вас установлен клиент Git:

Git — это одна из самых распространенных систем контроля версий программного обеспечения. Многие разработчики используют ее для управления своим кодом и совместной работы над программным продуктом.

GitHub — популярный провайдер Git, предоставляющий место хранения и коллективной работы над исходными кодами.

Установить клиент Git можно отсюда. После установки, команды git станут доступны из командной строки. В некоторых случаях, требуется дополнительно прописать путь к git в переменную реды PATH. Если будет интерес к теме работы с Git — пишите в комментах, может, подготовлю небольшую статью.

Настраиваем скрипт и начинаем парсить!

У нас есть папка с файлами, скаченными с GitHub:

Класс для работы с API Директа содержится в файле «wsparser.py«. Его трогать не нужно.

В файле «example.py» приведен пример работы с классом wsparser — это и есть парсер Вордстата, в который нужно подставить наши исходные данные.

Открываем файл «example.py» в IDLE (или в любом текстовом редакторе) и вводим свой ключ api yandex, он же — отладочный токен (как его получить, читай выше) — параметр token, и ваш логин в Яндекс — userName:

Параметр url можете оставить без изменения. Если вы получали полный доступ и хотите работать с API Директа не в режиме песочницы, то укажите вместо этого, адрес, указанный строчкой выше (адрес полного доступа). Для парсинга в этом нет необходимости.

Далее, указывается список минус-слов (подробнее, в этой статье), свой список фраз и география (если требуется), по которым хотите собрать выдачу. :

Если хотите уточнить географию — это делается указанием кода региона и/или города в параметре geo.

Больше никаких настроек делать не нужно) Сохраняете файл и запускаете на исполнение. Файл содержит подробные комментарии ко всем действиям — настоятельно рекомендую ознакомиться!

Запуск скрипта

Для запуска скрипта на исполнение достаточно в верхней части окна нажать Run — > Run Module. Откроется терминал Python Shell, куда будет выводиться лог выполнения скрипта. Если все сделали правильно, то увидите нечто подобное:

Теперь откройте папку, где лежит «example.py«:

В файлах «phrases_left.txt» и «shows_left.txt» лежат фразы и частотность левой колонки выдачи Wordstat. В файлах «phrases_right.txt» и «shows_ right .txt» — правая колонка (похожие запросы). За один проход собирается 300 фраз левой колонки для одной фразы. У нас было 2 фразы на входе («фотошоп» и «photoshop»), поэтому, в результате, мы получили 600 фраз на выходе.

Ограничения API Директ на парсинг

Баллы API Директа

Если вы обратили внимание, то в логе парсера первой строчкой приводится информация о том, сколько баллов у нас осталось. При первом запросе результат будет 32000. При втором, уже 31980.

Баллы API — это, своего рода, валюта API Директа. Запрос выдачи по одной фразе стоит 10 баллов. Когда баллы закончатся, запросы обрабатываться перестанут.

Так у Яндекса реализован механизм ограничения нагрузки на сервера обработки.

Хорошая новость! Баллы со временем автоматически пополняются.

У нас за 1 запрос парсилось 2 фразы, поэтому, сняли 20 баллов.

Отчеты

Другие ограничения связаны с тем, что результаты парсинга возвращаются в виде отчетов. Кол-во отчетов на одного пользователя ограничено 5 штуками. При попытке сформировать шестой отчет будет получена ошибка. Поэтому, если вы заметили, в скрипте, кроме методов создания и получения отчета createReport, getReportList и readReport используется метод для удаления отчетов с сервера — deleteReport.

Еще ограничение: в одном отчете можно получить результаты сбора только для 10 фраз.

Для более глубокого парсинга вы можете модифицировать алгоритм скрипта под себя и сделать двух- и даже трехпроходовый парсер Яндекс wordstat. Для этого, после получения первых 300 ключевых фраз (если парсили одну фразу) можно разбить результат на 30 групп по 10 фраз и снова запрашивать отчеты, уже по 10 фраз. Потребуется запросить 30 отчетов.

Заключение

Конечно, есть достаточно много хороших и не очень инструментов, упрощающих жизнь SEO-шников, директологов, арбитражников и вебмастеров.

Для себя я уже сделал выбор в пользу десктопного софта — KeyCollector (не путать с названием моего блога😎). Это мощный инструмент, облегчающий работу по сбору и анализу больших ядер в сотни тысяч ключей. Цена инструмента вполне демократичная, а функционал покроет почти любые потребности.

Тем, кто хочет получить результат еще быстрее и без установки дополнительного софта — попробуйте замечательный инструмент для парсинга Wordstat от команды Rush Analytics. Есть бесплатный период, очень удобный интерфейс и, самое главное, он работает в облаке! Это не только удобно, но и гораздо быстрее десктопных приложений.

Тем не менее, надеюсь, что моя статья сподвигнет кого-то на изучение чего-то нового для себя. Разве не от новых достижений мы получаем свою порцию дофамина?) Возможно, кому-то окажется полезным класс на Python и вы используете его в реальном проекте или для создания собственного софта.

С вами был Игорь Кантор, не забывайте подписываться на новости! Всем профита!

SEO продвижение группы ВКонтакте: органический трафик из поиска

Автор: Игорь Кантор · Published 4 марта, 2021

Подбор ключей в Яндекс Wordstat: ручной сбор с Wordstat Assistant

Автор: Игорь Кантор · Published 20 ноября, 2019 · Last modified 11 марта, 2021

комментариев 13

Доброго времени суток, Игорь!
Попытался по вашему кейсу сделать парсер но вышла заминка в доступе к приложению API Директа. Мне 3й раз сейчас отказали с комментарием:
«Заявка отклонена. Инструмент для получения статистики поисковых запросов (метод CreateNewWordstatReport и смежные) являются неотъемлемой частью API Директа и самого сервиса Яндекс.Директ. Сам же сервис предназначен исключительно для активных пользователей — в частности рекламодателей. Использование API Директа только для получения данных о статистике поисковых запросов не является целевым использованием сервиса, так как не ведет какого-либо взаимодействия с основными объектами, например рекламными материалами.»
Сталкивались ли с такой проблемой и может знаете как решить ее?

Евгений, здравствуйте!
Я не сталкивался, но предполагаю, что Яндексу не понравилась заявка, а именно, ответ на вопрос «Для чего предназначено приложение». Попробуйте указать что-то в духе «автоматизация управления бюджетом РК». Для чистоты, можно в коде какой-нибудь метод соответствующий упомянуть.

Написал им в поддержку и получил такой ответ:

Добрый день, Евгений!

К сожалению, в данном случае мы не можем одобрить вашу заявку. Методы «CreateNewWordstatReport» и смежные являются неотъемлемой частью API Директа и самого Яндекс.Директа. Нецелевое использование этого сервиса может привести к каким-либо ограничениям в работе с ним. Если вы не планируете использовать Яндекс.Директ по прямому назначению, то это может считаться нецелевым использованием сервиса. Если вам нужны только данные сервиса Wordstat, то мы рекомендуем использовать общедоступный веб-интерфейс этого сервиса (https://wordstat.yandex.ru ) в ручном режиме.

Однако, в случае если вы все же планируете использовать Яндекс.Директ, то опишите, пожалуйста, более подробно, как и какие методы API Директа использует ваша программа: названия методов (включая наименование сервиса для API Директа версии 5); для каких целей используются методы; схема и последовательность вызова методов; с какой частотой производится вызов каждого метода (раз в минуту, раз в час и т.д.) и для каких целей выбрана именно эта частота. Также опишите, как программа производит обработку ошибок, возникающих при работе с API, и как программа учитывает текущие ограничения API Директа.

Решил попробовать воспользоваться их Директ.коммандером, вроде тоже самое получается но все равно не то, что мне надо)
не знаете какой-нибудь способ чтоб вордстат выдавал с определенного кол-ва запросов? например чтоб запросы у которых выше 10к не выдавались мне?

Можно спарсить в сервисе Rush Analytics, выгрузить в Excel и отфильтровать по собственным критериям.
В целом, спасибо за ценный комментарий — думаю, читателям будет полезно знать про дополнительные требования к описанию со стороны Яндекс.

Подскажите, что именно в URL указать? то что в примере?

Источник