Разработка системы парсинга телеграм-каналов для лидогенерации в Битрикс24

1. Вводная задача от заказчика, проблематика, цели

Клиент — компания, стремящаяся ускорить процесс лидогенерации, нуждалась в инструменте для мониторинга Телеграм-каналов с целью выявления потенциальных клиентов. Задача заключалась в разработке системы, способной анализировать сообщения в Телеграм-каналах на наличие запросов, которые компания может решить, идентифицировать релевантные сообщения, формировать лиды и автоматически добавлять их в CRM-систему Битрикс24 (коробка).

2. Описание реализации кейса и творческого пути по поиску оптимального решения

Для начала был разработан алгоритм работы модуля с точки зрения пользователя. Он включает в себя несколько ключевых этапов:

1) настройка модуля: пользователь вносит необходимые данные через специальную форму. Параметры включают в себя:

• ссылки на Телеграм-каналы, которые будут проверяться на наличие нужных запросов;
• список ключевых слов, которые модуль будет искать в сообщениях внутри чатов;
• список стоп-слов, при обнаружении которых сообщения будут отсеиваться как нерелевантные.

2) обработка лидов: при обнаружении сообщения, подходящего условиям, модуль автоматически преобразует информацию из сообщения в лиды. В Битрикс24 передаются само сообщение, ссылка на сообщение в чате, а также ссылка на аккаунт в телеграм.

*Лиды создаются автоматически с помощью через специальную сущность (смарт-процесс), которая была для этого создана.

После того как был определен алгоритм работы, началась разработка самого модуля. Его задачей стало выполнение ключевой функций, заложенной в алгоритме - парсинг Телеграм-каналов и передача данных в CRM.

Алгоритм работы модуля:

1. Преобразование данных из телеграм-каналов в RSS или JSON формат.

В первой итеграции мы использовали онлайн-сервис https://tg.i-c-a.su/, который позволяет парсить данные из открытых каналов. С его помощью публичные Телеграм-каналы из списка, указанного в параметрах модуля, преобразуются в RSS или JSON формат для удобства работы модуля в дальнейшем. В результате получается набор данных из последних опубликованных 100 сообщений. Сейчас используемый сервис недоступен без VPN. Также его минусом была невозможность получения доступа к закрытым каналам. Поэтому мы использовали собственный API для Telegram на основе MadelineProto.

2. Извлечение сообщений.

При обращении к заданным ссылкам модуль извлекает необходимые данные. Из текста удаляются все теги/эмодзи для более точного анализа и более удобного отображения в Битрикс24.

3. Идентификация ключевых слов и фильтрация по стоп-словам.

С помощью регулярных выражений осуществляется поиск ключевых слов в извлеченных сообщениях. Если такие “ключевики” обнаружены, сообщение проверяется на наличие стоп-слов, чтобы исключить нерелевантный контент (техническая реализация также выполнена на регулярных выражениях). Если такие слова обнаружены, то сообщение исключается. Все подходящие сообщения собираются в массив, при этом система отслеживает, чтобы не происходило дублирования информации.

4. Передача данных в Б24 и формирование лидов.

После завершения процесса парсинга отфильтрованные данные передаются в Битрикс24. Поскольку модуль разрабатывался для коробочной версии Битрикс24, дополнительно настроили автоматическое формирование элементов, которые включили в разработанный специально для этого смарт-процесс. Ответственному отправляется уведомление о формировании нового лида (через роботов), чтобы тот своевременно успел его обработать.

3. Результаты сотрудничества

Благодаря разработанному модулю для Битрикс24 компания смогла значительно упростить процесс лидогенерации. Парсинг Телеграм-каналов позволил автоматически выявлять потенциальных клиентов по заданным критериям, что упростило работу отдела продаж и повысило эффективность процесса работы с лидами. Учёт ограничений и уникальности данных обеспечил стабильную и надежную работу системы. Также удалось собрать базу клиентов, которые на постоянной основе публиковали заявки, что позволило выстроить постоянное сотрудничество с такими клиентами.