Что такое парсинг подписчиков
10 лучших парсеров Инстаграм: платные и бесплатные (2021)
В этой статье вы узнаете:
Все советы и сервисы, перечисленные в статье, актуальны в 2021 году.
Что такое парсеры в Инстаграм?
Парсер — это инструмент для поиска целевой аудитории в Инстаграм по разным параметрам: геолокация, хештеги, подписчики конкурентов, пол, возраст. Функция парсинга есть в специальных онлайн-сервисах, которые специализируются на продвижении в социальных сетях.
Все действия выполняются автоматически: вы задаете нужные параметры поиска (пол, теги, конкурентов), после чего программа или облачный сервис начинает искать ЦА. В дальнейшем можно взаимодействовать с собранной аудиторией: подписываться и ставить лайки, комментировать посты, смотреть истории, отправлять сообщения в Директ.
Это интересно: есть онлайн-сервисы, которые предоставляют возможность парсить аудиторию из других социальных сетей. Например, можно загрузить список Instagram-пользователей из Вконтакте.
Еще одна полезная функция парсеров — фильтрация аудитории. Вы можете установить фильтры, чтобы отсечь ботов и коммерческие страницы: например, указать, чтобы у пользователей была загружена аватарка.
ТОП-10 парсеров в Инстаграм
Теперь перейдем к основной части статьи. Давайте рассмотрим 9 лучших парсеров в Инстаграм. Они помогут быстро найти целевую аудиторию: без ботов и коммерческих аккаунтов.
Zengram Parser
Zengram Parser — сервис для сбора списков пользователей и их данных из Инстаграма. Парсер поможет в продвижении аккаунта: например, вы можете собрать список пользователей и запустить массфолловинг и масслайкинг.
Сервис платный. Но есть пробный пакет за 1 рубль. В пробной версии Zengram Parser можно собрать 3 000 аккаунтов.
Instatracker
Instatracker — простой и удобный сервис для сбора горячей и «живой» аудитории. Инструмент находит свежих подписчиков по аккаунтам конкурентов, хештегам и геолокации.
Instaplus
Instaplus — автоматизированный сервис для продвижения в Инстаграме. Инструмент работает в облачном режиме. Начать поиск целевой аудитории и раскрутку профиля можно с планшета, компьютера, смартфона.
Tooligram
Tooligram — профессиональный сервис для раскрутки Instagram-аккаунтов. Он работает в режиме онлайн — не нужно скачивать и устанавливать дополнительный софт для ПК.
Сервис платный. Есть бесплатный пробный период.
Pepper.Ninja
Pepper.Ninja — это онлайн-парсер, который помогает найти целевую аудиторию во Вконтакте. Но, несмотря на это, инструмент можно использовать для Instagram.
Сервис предоставляет новым пользователям тестовый период на 3 дня.
Segmento Target
Segmento Target — онлайн-сервис для сбора целевой аудитории в социальных сетях. Инструмент работает с тремя площадками: Instagram, VK и OK.
Для тестирования функций Segmento Target можно получить бесплатный доступ к сервису.
SocialKit
SocialKit — программа для раскрутки в Инстаграм. Подходит для продвижения любых профилей: страницы брендов, интернет-магазины, персональные аккаунты, блогеры.
Для тестирования основных функций программы можно скачать Demo-версию.
Bridgit
Bridgit — это инструменты для работы с Instagram. Подходит для продвижения любых аккаунтов.
В Bridgit есть бесплатный тестовый период, который активируется после регистрации в системе.
Instaplus.pro
Instaplus.pro — сервис для безопасной раскрутки аккаунтов в Инстаграм. Инструмент позволяет привлекать только живую аудиторию.
Новые пользователи могут попробовать сервис Instaplus.pro бесплатно.
InstaTurbo
InstaTurbo — облачный сервис для безопасного продвижения в Instagram. Инструмент позволяет привлекать до 300 клиентов в день.
Стоимость: 890 рублей в месяц. Есть бесплатный пробный период.
Итоги
Мы рассмотрели лучшие парсеры в Инстаграм. Выбирайте любой понравившийся сервис из списка. Мы в свою очередь рекомендуем Zengram Parser, так как он максимально простой и удобный.
Парсинг аудитории в Инстаграм: просто о непонятном
Используя Инстаграм для бизнеса, начинающие предприниматели должны сначала выбрать вектор развития и продвижения аккаунта бренда, услуги или имени, а затем составить подробный план действий с четкими временными рамками. Для большинства видов активности в Инстаграм требуются повторяющиеся, монотонные действия, как, например, массовая подписка (отписка), рассылка рекламных сообщений или сбор информации. Особое внимание уделяют как раз анализу подписчиков и сопоставлению данных о них для определения картины целевой аудитории.
Что такое парсинг аудитории Инстаграм?
Чтобы не выполнять десятки однообразных действий, связанных с поиском, сбором и систематизации информации о подписчиках в Инстаграм существует специальное программное обеспечение, которое позволяет провести парсинг аудитории Инстаграм при помощи вычислительной мощности компьютера.
Это не только значительно экономит время и силы владельцев странички или работников в сфере продвижения, но и позволяет получить более точные сведения в кратчайшие сроки – вероятность «человеческого фактора» снижается к нулю.
Специальные программы парсеры – это программные инструменты, требующие скачивания на компьютер или использования специальных сайтов, которые автоматизируют рутинную работe и часовые занятия однообразными действиями. Парсеры – незаменимые помощники в процессе раскрутки, продвижения и совершенствования публичного профиля в Инстаграм, а также его содержимого.
О роли парсинга в продвижении у нас есть специальный материал, и мы рекомендуем ознакомиться с ним.
Сервисы парсинга аудитории в Инстаграм
Сервисы, осуществляющие парсинг аудитории Инстаграм, выполняют следующие полезные функции:
Далее в этой статье мы рассмотрим популярные и проверенные сервисы для парсинга аудитории Instagram.
Онлайн-сервис
Лучшим по мнению покупателей и экспертов стал сервис Tooligram, который в режиме онлайн занимается парсингом аудитории. Его отличает простота и лаконичность интерфейса. В нем нет нагромождения разных непонятных начинающему пользователю функций. Парсинг и продвижение настраивается в рамках нескольких действий. Достаточно только оплатить подписку на пользование услугами, настроить нужные параметры, и можно не мониторить работу ресурса. Пока действует подписка, достаточно будет наблюдать, как на вашу страничку подписываются все новые и новые реальные люди, тем самым расширяя вашу аудиторию и увеличивая объемы продаж.
Бесплатный ресурс
Из бесплатных можно выделить многофункциональную, а главное бесплатную программу для парсинга аудитории в Инстаграм – SmartChecker. В перечень ее возможностей входит следующее:
Откуда можно спарсить аккаунты?
Для того чтобы сформировать качественную целевую аудиторию, понадобится специальная база с контактами потенциальных фолловеров. Есть несколько путей, как их можно получить. К этой базе выдвигаются определенные требования, среди которых:
Эти два фактора формируют качественные показатели базы фолловеров. Взять ее можно, например, на сайте – www.instaspell.ru. Это крупное хранилище тематических страниц в Инстаграме с их аудиторией. Его отличительная особенность – сортировка по интересам, что дает возможность точно и правильно подобрать фолловеров, которые заинтересуются вашим продуктом.
Заключение
Автоматический парсинг аудитории Инстаграм – это простой и эффективный способ продвижения и раскрутки аккаунтов в автоматическом режиме. Он подойдет, как для начинающих страничек, так и для профилей-старожил, которые уже имеют прочный «костяк» из активных фолловеров, но не против его расширить.
Парсинг Инстаграма и его роль в продвижении
Массфоловинг в Инстаграм, как средство раскрутки
Настраиваем автоматическую накрутку лайков в Инстаграме
Поговорим о платной накрутке подписчиков в Инстаграм
Как и где купить живых подписчиков в Инстаграм?
Парсинг аудитории инстаграм
Чтобы правильно настроить рекламную кампанию и раскрутить профиль в Инстаграм, нужно знать портрет целевой аудитории, то есть проанализировать большое количество информации о зарегистрированных пользователях. Да, это все можно и делается вручную, но зачем тратить драгоценное время на рутину? Так подумали и программисты, создав массу сервисов для автоматизации монотонных задач – парсеров. Они упрощают поиск нужной целевой аудитории.
В данной статье поговорим о том, что такое парсеры, какие функции в себя включают, есть ли популярные сервисы в Интернете, как выбрать подходящий и на что следует обращать внимание.
В общем, усаживайтесь поудобнее, будет интересно!
Что такое парсинг Instagram и зачем он нужен
Парсинг – это процесс поиска целевой аудитории в социальных сетях, в нашем случае, в Инстаграм. Соответственно, парсер – это приложение, программа и инструмент, который используется для поиска теплой аудитории с целью продать им товар или услугу. Чтобы провести парсинг подписчиков Инстаграм, используются два подхода:
Самописный скрипт. Это парсер, написанный, как правило, на языке программирования Java. Чтобы создать код, нужны базовые знания объектно-ориентированного программирования. Если таких знаний нет, а нужен гибкий инструмент с массой настроек, можно заказать услуги специалиста в компании или на бирже фриланса.
Программы для парсинга Инстаграм. Это полностью автоматизированные сервисы, в которых вебмастер задает параметры для поиска, например, конкуренты, пол, теги – и встроенные алгоритмы ищут нужных пользователей, создает очищенную от лишнего базу, конвертирует ее в удобную для восприятия форму, и использует по назначению.
После составления базы потенциальных клиентов с каждым найденным аккаунтом можно взаимодействовать. Например, подписываться на публикации и ставить лайки, комментировать посты и смотреть истории в едином интерфейсе. За счет этого можно лучше понять потребности и “боли” целевой аудитории, значит, эффективнее продвинуть товар или услугу.
Парсеры делают всю ручную работу за пользователя, экономя часы реального времени. В отдельных сервисах можно фильтровать аудиторию, чтобы отделить активные аккаунты от ботов или коммерческих страниц.
Функции сервисов для парсинга аудитории Инстаграм
Разработчики парсеров пытаются создать большее количество возможностей для вебмастеров. В любом сервисе есть масса функций, мы разберем только те, что касаются сбора аудитории. Для удобства восприятия разобьем дальнейшее повествование на несколько логических блоков:
Сбор ЦА
Создавать перечень учетных записей можно по фильтрам в зависимости от преследуемых целей.
Фильтрация базы
Собрать базу из аккаунтов в Инстаграме еще недостаточно для полного счастья, ведь там масса коммерческих учеток, авторегов и прочего мусора. Поэтому в каждом парсере имеется ряд фильтров для выуживания нужных пользователей. Их перечень выглядит так:
Пожалуй, эта функция парсера Инстаграм самая полезная, так как позволяет быстро избавиться от ненужных аккаунтов, оптимизировав расходы на проведение рекламной кампании. А сэкономленные деньги – заработанные деньги.
Выгрузка базы
Когда перечень подходящих аккаунтов собран, отфильтрован по заданным параметрам, вебмастер получает готовый список активной аудитории, с которой можно работать. Большинство сервисов после нажатия соответствующей кнопки, преобразуют базу в таблицу формата CSV, которую легко открыть в среде MS Office.
А далее только полет фантазии – использование базы для массовых рассылок или настройки более детального таргетинга, запуска массфоловинга и т.д.
Как работать с парсером
Разберем работу с сервисом на примере InstaPlus. Пожалуй, главное преимущество этого парсера в простоте пользовательского интерфейса и низком пороге вхождения. Пошаговая инструкция для сбора данных при помощи парсера выглядит так:
Открываем браузер и вводим в поисковую строку соответствующий запрос. Кликаем на официальный сайт сервиса, активируем кнопку «Создать задание» в левом верхнем углу пользовательского окна.
Кнопка для создания задания в левом верхнем углу интерфейса
Выбираем из перечня аккаунт (профиль) в Инстаграм, который станет основой для сбора базы данных.
Кнопка для выбора аккаунта, с которого будет парситься клиентская база
Во вкладке «Выберите действие» кликаем по «Сбор данных».
Выбор функционала из предложенного перечня
Во вкладке «Выберите источник» выбираем нужный параметр: Геолокация (по отметкам на фото), хэштег (по меткам под постами), аудитория пользователя (изучаются подписчики и подписки, комментарии и лайки), список пользователей (создается база данных на основе аудитории конкурентов), мой аккаунт (можно брать пользователей из числа собственных подписчиков выбранного ранее профиля).
Выбираем фильтр для создания клиентской базы
Прописываем сам источник для получения информации. Указываем количество исследуемых аккаунтов.
Количество аккаунтов для создания базы
Во вкладке «Подробнее про лимиты на сбор» кликаем по выпадающему перечню, чтобы исключить из сбора закрытые профили.
Фильтрация профилей по степени конфиденциальности
Кликаем по кнопке «Настроить фильтр»; если потребности в нем нет, активируем соответствующую кнопку. Прописываем нужные параметры. Кликаем по функции «Таймер», чтобы с заданной периодичностью повторять действие.
Функция установки таймера для периодического повторения парсинга по заданным параметрам
По завершению всех приготовлений кликаем по «Запустить задание». Теперь остается ждать завершения, так как процесс полностью автоматизирован. Во вкладке «История заданий» появится детальная статистика, где можно ее просмотреть или скачать отфильтрованные данные.
Интерфейс для просмотра статистики завершенного задания
Недостатки сервисов
Несмотря на пользу и автоматизацию рутинных процессов, парсинг аккаунтов Инстаграм может добавить проблем вебмастеру. Хоть каждый сервис уникален и разработчики добавляют свои «примочки», однако слабые стороны у них одинаковые:
Как выбрать парсер
Для выбора качественного парсера нужно создать собственный список условий, либо опираться на такие основные критерии:
При выборе конкретного сервиса правильнее отталкиваться от задач, которые нужно решать. Если вы пока не знаете, что конкретно вам будет нужно, тогда выбирайте универсальные приложения, которые не “нафаршированы” узкоспециализированными функциями, но имеют все основные.
ТОП 5 сервисов для парсинга
На рынке масса предложений, однако в ТОП, по нашему мнению, попали только качественные сервисы, прошедшие проверки временем и пользовательской активностью.
Все многообразие парсеров можно разделить на бесплатные и платные. Думаем, объяснять разницу между ними не стоит. Однако и в платных приложениях зачастую есть пробный период, который дают разработчики для проверки функционала.
Бесплатные
Таких сервисов не так много на рынке и отличаются они массой ограничений. Тем не менее, они тоже активно используются.
Zinsta
Главная страница ресурса
Бесплатная программа, которая позволит собрать аудиторию по лайкам, хэштегам, проанализировать базу конкурентов, спарсить номера телефонов из профилей и выгрузить их в таблицу Excel. Также есть возможность собирать логины Instagram из групп ВК, автоматически подписываться на нужные профили, массово ставить лайки, делать рассылки.
Взвесив все «за» и «против», учитывая бесплатность приложения, Zinsta – отличное ПО для начинающего вебмастера с нужным набором возможностей.
Leongram
Главная страница ресурса
Это также бесплатное ПО с большим набором возможностей. Разработчики добавили в систему возможность парсить по конкурентам, хэштегам и геолокации. Система периодически проходит через обновления для доработки имеющегося функционала. Есть дополнительные функции – массфолловинг, масслайкинг, отписка при достижении лимита, автопостинг, отправка сообщений в директ и прочие.
Платные
Таких на рынке больше, так как разработчики тоже хотят немного заработать на своем детище. Взамен они дают больший функционал, чем бесплатные аналоги. Рассмотрим популярные ресурсы.
Zengram
Главная страница Zengram
Это облачный сервис, поэтому устанавливать дистрибутив на ПК или ноутбук не нужно. Он предназначен для комплексного продвижения аккаунта в Инстаграм и отличается большим набором функций – поиск аудитории, автодирект, масслукинг, инсташпион и другие. Парсер дает возможность не только собирать данные, фильтровать их, но и просматривать историю сборов. Есть гибкая система тарифов. Самая дешевая подписка – 1490 рублей. Есть пробный период для тестирования функционала на 3 дня.
Socialkit
Главная страница сервиса
Прога платная и ее нужно устанавливать на ПК. Это универсальный инструмент для мультиаккаунтной работы с Инстаграм. Socialkit – не только парсер для поиска целевой аудитории, у него есть и масса других возможностей: автоподписка/отписка, лайки, комментарии, просмотр сторис, автопостинг, рассылка в директ, разнообразные фильтры аккаунтов и прочее. Есть бесплатная демо-версия без ограничения по времени. Полноценная лицензия стоит 1410 рублей в месяц.
Instaplus.me
Главная страница сервиса
Это облачный сервис, то есть дистрибутив не нужно устанавливать на ПК. Кроме парсинга, дает возможность настроить отписку/подписку, проставление лайков, просмотр историй. Сервис создает имитацию «живой» деятельности, рассылая уникальные комментарии на заданные аккаунты. С помощью Инстаплюс можно работать одновременно в нескольких аккаунтах. Самая дешевая подписка стоит 399 руб., есть бесплатная версия с ограничением в 5 дней.
Вывод
Парсинг в Инстаграм используют все, ведь это лучший способ быстро решить одну из самых сложных задач при продвижении в соцсети – найти аудиторию. Даже бесплатный сервис-парсер поможет быстро собрать клиентскую базу. Вебмастеру останется только перейти к настройке таргетинга в Инстаграм. Кстати, можно запустить таргетинг в Инсте через Фейсбук.
Чем дороже парсер, тем он лучше?
Зачастую, да. Если сравнить бесплатное ПО и платное, то в последней категории больше полезных функций, за которые нужно платить каждый месяц. Если в бесплатных парсерах есть анализ по двум-трем метрикам, то в платных их больше пяти, что значительно расширяет возможности вебмастера.
Как часто можно парсить в Instagram?
Хоть каждый день, если это нужно. Но необходимо обезопасить себя от бана.
Какой сервис эффективнее – облачный или десктопный?
Зависит от решаемых задач и условий вебмастера. Если на актуальном устройстве не так много свободного места, да и система не из самых мощных, то лучше использовать облачные сервисы.
Если нужен более качественный и быстрый сбор аудитории, то лучше использовать десктопный вариант. Однозначного ответа не даст никто, так как это зависит от предпочтений человека, возможностей железа, стабильности интернет-подключения и еще массы факторов.
Парсинг Instagram в промышленных масштабах
В декабре 2020 года я завершил работать в научном институте и сразу же увлёкся задачей добычи данных из соцсетей, в частности из Инстаграма. Прежде я работал только с готовыми данными, поэтому мне всегда было интересно, как эти данные можно добывать. За несколько дней до Нового Года я написал достаточно базовую статью про то как парсить Инст. В первых числах января мне написал заказчик и попросил сделать для него масштабный парсер инстаграма, который был бы способен делать более 10.000 запросов в сутки.
С тех пор прошло уже больше полугода, за которые я набил всевозможные шишки в данной области и написал промышленный парсер, который способен делать сотни тысяч, если не миллионы запросов в сутки.
В рамках данной статьи я хочу рассказать про путь развития своего Pet-Project в потенциально мощный и серьёзный инструмент. Впереди вас ждёт увлекательное путешествие от хранения данных в простых Json-ах на жестком диске сервера, до облачной базы данных и автоматической инициализации cron расписания запуска процессов внутри докер контейнера, поехали!
Ещё немного занудства
Какую задачу я решал?
Сразу после написания первой статьи, ко мне обратился заказчик с вопросом, смогу ли я извлекать из инстаграмма данные о том, как пользователи обмениваются лайками.
Задача была следующая. Дана группа пользователей (несколько тысяч), необходимо в режиме реального времени отслеживать, как они ставят лайки друг другу. То есть собирать лайки, которые пользователи из выбранной группы ставят внутри этой группы, и отдавать эту информацию в виде «потока лайков» в стандартизированном виде.
Далее эти лайки должны «копироваться» в блокчейн VIZ, чтобы инстаграмеры не просто так лайкали друг друга, а получали цифровой социальный капитал. Впрочем, этой частью сервиса занимались специалисты на стороне заказчика.
Каким образом я её решал
Да, как вы ещё не раз убедитесь в процессе чтения, я люблю всё структурировать, поэтому ниже список разделов этой статьи:
Принцип майнинга данных из инстаграмма с помощью одного аккаунта, какие ограничения на это есть.
Каким образом можно распаралелить процесс извлечения данных на несколько исполнителей (Vanilla подход).
Как распаралелить процесс, но уже по-крупному. Переход от локальных баз данных к облачным.
Архитектура получившейся облачной базы данных (Firebase Realtime Databasse).
Оркестрирование процессов или как сделать так, чтобы всё работало параллельно и не сломалось.
Вычисление активной аудитории профиля в Инстаграм, создание кластера активных пользователей и его уплотнение.
Как я делал расписание процессов. Некоторая магия и танцы с бубном вокруг докера и crontab.
Логи + облачная база данных.
Полезные ссылки (API Instagram, прокси сервис, биржа аккаунтов инстаграм)
Outro + Размышления о будущем проекта.
Если вдруг вы специалист в области инстаграмма, работаете с рекламой, то мне очень интересно услышать ваше мнение, какие именно данные из Инстаграма вам нужны и какое дальнейшее коммерческое развитие может быть у моего проекта.
Для начала предлагаю освежить в памяти, каким образом можно получить открытые данные из Инстаграма.
А как вообще доставать данные, Recap
Во многом, на этот вопрос отвечает моя первая, максимально базовая статья (это чтобы вы не листали наверх в поисках ссылки).
Если кратко, то я использовал библиотеку на питоне, которая извлекает данные путём отправления запросов к неофициальному API инстаграмма. Есть множество библиотек, работающих таким образом. В своём проекте я использовал instagrapi, пожалуй самую современную и удобную библиотеку.
Что такое неофициальное API инстаграма
Если кратко, то неофициальное API притворяется приложением Инстаграм на андроиде и в шапке запроса прописывает свои специальные плюшечки, сигнатуры и всякое прочее, почитать больше про то как работают запросы к API можно тут.
В начале разработки промышленного парсера я создал новый аккаунт в инстаграме, подписался на пару своих друзей и начал активно исследовать пропускной канал такого метода «добычи данных».
К моему огорчению, разработчики инстаграмма создали ряд инструментов, препятствующих безграничной выкачке данных. И после серии запросов аккаунт, через который проводятся запросы, банится. Особенно, Инстаграмм банит за периодические запросы, между которыми небольшая разница во времени, то есть когда очевидно, что эти действия производятся алгоритмом.
Не более 150 запросов в день с одного аккаунта.
Добавить стохастчность во временные промежутки между запросами (например, sleep на рандомный промежуток времени).
Делать запросы разного типа (то есть, например, не только получение лайков для поста, но и просмотр подписчиков).
Разобрались с тем, как проводить запросы с одного аккаунта. Дальше необходимо понять, как организовать параллельную работу группы аккаунтов.
Vanila подход к распараллеливанию
На 150 запросах в день далеко не уедешь, надо что-то придумывать. В самом начале я подумал: «подержите моё пиво, я проходил параллельное программирование в вузе». Так начинается новая глава моего повествования.
Передо мной стояла задача организовать параллельный асинхронный процесс добычи данных несколькими исполнителями.
Процессы исполнители и процесс менеджер я планировал запускать по расписанию с помощью какой-нибудь специализированной утилиты (однако в итоге сделал монстра из докера и crontab).
Стыдно даже рассказывать, с чего я начал, но раз уж пообещал повествование про свой путь, то дерзайте. Начинал я с крайне примитивного подхода в виде хранения данных в json на жестком диске. То есть исполнители получали задание в формате json файла со специальным названием, соответствующим исполнителю, делали необходимые запросы, и затем процесс менеджер собирал результаты работы в один большой json файл.
Достаточно быстро я понял, что такая схема работы выглядит уж больно криво и костыльно и без какой-нибудь базы данных мне не обойтись.
Костыльное решение
База данных, Firebase Realtime Database
Мне не хотелось разбираться со сложными базами данных и с SQL, так как это чрезмерно затянуло бы процесс разработки. Благо, мои партнёры по веб студии, молодые и заряженные ребята, подсказали мне продвинутый стек разработки. В частности меня познакомили с Firebase Realtime Database, сервисом компании Google, созданным для упрощения процесса разработки приложений. Представьте себе, NO SQL облачная база данных, доступная из любой точки мира, где есть интернет.
Прежде я писал про то, как «поженить» Firebase Realtime Database и Телеграм ботов. Тут можно почитать про основы работы с этой базой даных.
Основными преимуществами такой базы данных для меня было то, что все данные в ней хранятся в виде json дерева и то, что интерфейс взаимодействия с ней выглядит максимально просто. И что это всё работает с моим любимым питоном! (Python Firebase SDK). Во многом, помочь разобраться с базой данных мне помог этот туториал.
Прежде чем интегрировать новую для меня технологию в серьёзный проект я начал с «игрушечного проекта» (Да, Pet Project внутри Pet Project) и интегрировал Realtime Database в моего телеграмм бота, который делает синтаксический анализ предложений. Он был сделан в рамках другого моего проекта и там была необходимость запоминать предложения, на которых алгоритм работает плохо.
На нынешнем этапе обрезка работает достаточно просто и зачастую падает для сложных предложений. Однако дерево строится в большинстве случаев.
Архитектура БД
Основу этой архитектуры я придумал за один продуктивный вечер где-то в начале марта, расслаблено программируя с бокальчиком вина (а потом уже и с бутылкой). Впоследствии я добавлял некоторые коллекции и разделы для более эффективной работы системы, либо для более гибкой её настройки.
Начнём с самых базовых структур, которые я использовал в этом проекте
User
Post
Ноль в last_check означает что пост ещё ни разу не был проверен.
Стоит отметить, что в post.likes хранятся в принципе все лайки оставленные под постом (то есть не только внутри нашей базы данных).
Также стоит отметить, что никакое API инстаграмма, даже самое продвинутое и хакерское не отдает больше 999 лайков для поста.
Если на посте больше 999 лайков, то будут отданы 999 некоторых лайков из всех (при этом нигде нет гарантии, что это будут 999 последних лайков).
Like
Коллекции
В корневом разделе базы данных Firebase Realtime Database хранится 6 коллекций (6 корневых разделов).
Executors
Данная структура хранит в себе все конфигурационные данные, необходимые для сбора лайков и добавления новых постов.
Сбор лайков может вестись параллельно и асинхронно несколькими исполнителями.
Executor Configs
Конфигурационный файл исполнителя:
Last Login Log
Лог последней авторизации в случае успеха имеет вид
Settings Dict
Конфигурация API исполнителя. Содерджит в себе куки файл для более удобной авторизации (и менее опасной с точки зрения потенциальной возможности бана аккаунта).
Пример для купленного аккаунта (обфусцированный). Такой объект генерируется во время первой авторизации.
Оркестрирование процессов
Разобрались с облачной базой данных (Если вы ещё не разобрались, то обязательно разберитесь, почитайте туториалы, уж очень классная штука). Теперь необходимо понять, как правильно использовать её для организации процесса майнинга данных группой аккаунтов.
Как любил говорить мой любимый преподаватель по программированию: «Разделяй и властвуй». Стараюсь придерживаться этого принципа. В инстаграме лайки имеют смысл только в контексте постов, на которые они были поставлены. Поэтому наша задача может быть разбита на две подзадачи:
Держать актуальной базу постов, выложенных пользователями
Держать актуальной мини базу лайков для каждого поста
Алгоритм работы процесса исполнителя выглядит следующим образом:
Процесс запускается по расписанию (про расписание будет отдельный раздел).
Логинится в аккаунт инстаграмма, используя при этом своё прокси (SOCKS5).
Случайным образом выбирает действие. Чтобы действия не были сильно похожи на действия робота. Исполнитель либо делает запрос на новые посты пользователя, либо на новые лайки, либо совершает случайное действие (лайк, посмотреть коменты, посмотреть подписчиков), либо вообще отдыхает.
Случайным образом выбирает индекс пользователя из соответствующего ему диапазона индексов.
Получает из облачной базы данных нынешнюю запись (будь это пост или пользователь).
Проводит запрос к Инстаграму.
Проверяет, изменились ли данные, если изменились, то обновляет запись в облачной базе данных.
Если действие было собрать новые лайки и на посте оказались новые лайки, то исполнитель выгружает новые лайки в облачную базу данных. Это необходимо чтобы поток лайков был в режиме реального времени. Исполнитель добавляет в облачную базу данных только лайки пользователей из базы пользователей. База идентификаторов пользователей хранится в виде json файла на сервере и обновляется раз в несколько часов.
Таким образом, у каждого исполнителя есть свой диапазон индексов в базе данных пользователей. У каждого пользователя есть идентификаторы опубликованных им постов. Также, у некоторых частей базы данных есть флаги блокировки, когда эту часть бд меняет процесс менеджер.
Вырезка из документации касательно оркестрирования.
Раз в несколько часов происходит перераспределение диапазонов индексов между исполнителями. Это нужно для того, чтобы минимизировать влияние заблокированных аккаунтов. Эта функция называется normalize_executors_split
Балансировка оркестрирования
Для улучшения процесса обработки баз данных была реализована балансировка оркестрирвоания
По расписанию (напр. раз в день) crontab запускает процесс-менеджер, который сортирует users_database по параметру last_check
Пользователи, которые не были проверены дольше всех, помещаются в специальную приоритетную очередь
normalize_split
Уплотнение кластера пользователей
Изначальную базу пользователей я решил брать с университетских кластеров пользователей. Делал я это следующим образом (да, я люблю списки).
Я брал несколько самых популярных университетских аккаунтов в инстаграме.
Для каждого аккаунта получал идентификаторы последних 20 постов.
Выкачивал все лайки для этих постов.
Для каждого пользователя, поставившего лайк считал суммарное количество лайков, которое он поставил на эти 20 постов.
Добавлял в свою базу пользователей тех, кто поставил N > 4 лайков (варьируемый параметр, я экспериментировал).
Интересный инсайт: Как оказалось, студенты МФТИ не так охотно ставят лайки друг другу в инстаграме, поэтому мой итоговый кластер состоял из студентов МГУ и ВШЭ (привет паблик hsemem).
Коммерческое предложение: Да, если меня читают товарищи таргетологи, то обязательно напишите мне, потому что вам ведь что-то похожее нужно для анализа аудитории? Я как раз планирую сделать сервис, который бы на базе нескольких аккаунтов схожей тематики выдавал бы их активную аудиторию.
manager — процесс для менеджмента системы.
Алгоритм работы следующий:
Загрузка всей базы данных пользователей и базы данных постов
Проставление пользователям количества лайков, которое они отдали внутри базы данных
Сбор всех лайков, поставленных внутри базы данных. Загрузка всех лайков в облачную базу данных
Перераспределение диапазонов индексов пользователей между исполнителями ( normalize_executors_split )
Балансировка оркестрирования ( choose_top_users_to_fetch )
Сохранение всех баз данных локально
manage_cluster — процесс уплотнения или расширения кластера (в зависимости от параметров)
Для увеличения связности базы данных пользователей раз в определенный промежуток времени запускается процесс, отсеивающий малоактивных пользователей и добавляющий пользователей активных (которые еще не в базе данных).
В облачной базе даных в разделе executors/cluster есть два параметра, влияющих на процесс формирования кластера.
ADD_FRACTION доля пользователей, которые добавляются (доля от текущего размера базы данных пользователей
Алгоритм работы процесса следующий:
Загрузка всей базы данных пользователей и базы данных постов.
Для каждого пользователя вычисляется количество лайков, которое они отдали внутри базы данных.
Пользователи сортируются по количеству лайков, поставленных внутри базы данных. Затем оставляется доля самых активных пользователей (от нынешнего количества пользователей внутри базы даных), равная REMAIN_FRACTION (число от 0 до 1).
Для каждого пользователя, поставившего лайк на пост, который есть в нашей, уже очищенной, базе данных также вычисляется суммарное количество лайков, которое они поставили пользователям внутри базы данных.
Эти пользователи также сортируются по количеству поставленных ими лайков. После чего в базу данных добавляется доля пользователей равная ADD_FRACTION (имеется ввиду доля от нынешнего количества пользователей внутри базы даных).
Затем запускается перераспределение диапазонов индексов пользователей между исполнителями ( normalize_executors_split ).
Расписание процессов
Значимой частью этого проекта, его безусловным сердцем, является логика запуска процессов по расписанию. Где-то внутри меня сидит бунтарь, которому постоянно хочется хардкора, поэтому расписание процессов я делал внутри докер контейнера с помощью crontab. Более того, конфигурационный файл crontab внутри докера постоянно синхронизируется с облачной базой данных. Когда я продумывал всю эту архитектуру я, безусловно, представлял себя вождём шаманов, совершающим некое таинство.
Воображаемый вождь шаманов
В файле crontab_config всего одна прекрасная строчка, которая вызывала процесс сборки файла с расписанием на базе данных в облачной базе данных. В результате получался файлик в 100 с чем-то строчек.
Как выглядел мой crontab файл
В результате получалась такая вот красота, не пугайтесь. sleep в командах исполнителей нужно чтобы процессы не запускались одновременно.
Создаваемый конфигурационный файл зависит от параметров, находящихся внутри раздела crontab в облачной базе данных.
Алгоритм работы следующий:
Из облачной базы данных подгружаются параметры формирующие расписание.
Создается текстовый файл, содержащий комманды для системной утилиты crontab.
С помощью os.system() вызывается команда установки конфигурационного файла внутрь докер контейнера.
Я посчитал важным сделать красивые и адекватные логи, поэтому их я также сохранял в облачную базу даных, что оказалось очень удобно. На базе логов, хранящихся в таком формате можно сделать, например, Телеграм бота, который по запросу будет присылать отчёт по успешности выполненных запросов и анализировать самые часто встречающиеся проблемы.
В структуре tasks_log хранятся логи, описывающие результат работы каждого запроса каждого исполнителя.
где каждый task_log имеет вид
в случае неуспеха task_log.payload имеет вид
Что ещё я использовал в проекте, полезные ссылки
Неофициальное API инстаграмма
Проблемка с нынешней версией сервиса
На момент написания статьи у данная библиотека имеет версию 1.9.13. В данной версии кроется коварная ошибка, которая, впрочем, достаточно просто чинится.
Кто-то просто забыл убрать строчку в 43й строке. Просто убираем скобочку и всё работает.
Прокси
Достаточно важный элемент данного проекта — это группа прокси, которые я использовал. Для каждого аккаунта у меня было своё уникальное прокси.
В своём проекте я использовал сервис webshare. Я взял 100 прокси, что стоило мне 2.75$ в месяц. Этот сервис я использовал и для других своих проектов, так что рекомендасьон.
Статистика использования прокси по моему проекту
Аккаунты в Instagram
Как я уже ранее упоминал, аккаунты инстаграмма у меня покупные. Никакого криминала, я брал самые простые и дешёвые автореги, они стоят примерно по 12 рублей за штуку. Вот и вот примеры бирж, на них много разных продавцов. Прежде чем покупать «большую котлету» аккаунтов, советую брать штучек по 10 на пробу и смотреть насколько они живучие. Если вдруг возниктут какие-то трудности с указанными ранее биржами, то другие такие биржи гуглятся по запросу: «Аккаунты Инстаграм авторег купить».
Outro + Будущее проекта
Чтобы не перегружать и без того уже внушительных размеров статью я оставил некоторые детали за кадром. Так например, к этому проекту прилагалось API, которое отдавало лайки по запросу за промежуток времени. Возможно, я ещё вернусь и допишу про этот проект позже. Сейчас же я хочу обсудить его потенциально будущее.
410 WEB
Последние несколько месяцев, в рамках своего Digital агенства, я достаточно плотно занимаюсь проектами так или иначе связанными с Digital Marketing. Насколько мне известно, достаточно часто возникает задача выкачки аудитории с нескольких инстаграмм профилей со схожей семантикой. Так вот, мой парсер позволяет выкачивать не просто аудиторию, а брать сразу самую активную, которая ставит лайки и оставляет комментарии. Так что, специалисты в области Инстаграм, жду обратной связи от вас, нужно ли вам такое; потому что я планирую упаковать свой бэкенд в полноценный сервис.
И да, в будущем планирую писать не только про программирование, например, у меня есть несколько сумасшедших маркетинговых идей для разных областей бизнеса, которые мне не терпится попробовать. Так что Stay Tuned.