Платон — сервис мониторинга публичных запросов на разработку с ML-классификатором и CRM

1. Вводная задача от заказчика, проблематика, цели

Одно из ключевых направлений нашей компании — аутстаффинг разработчиков.

Важный элемент этой модели — оперативный мониторинг спроса на основе размещенных в открытом доступе запросов на ресурсы. Как правило, речь идет о большом количестве Telegram-каналов, в которых запросы появляются в большом количестве круглосуточно и ежедневно.

ПРОБЛЕМА И ЗАДАЧА

Одно из ключевых направлений нашей компании — аутстаффинг разработчиков.

Важный элемент этой модели — оперативный мониторинг спроса на основе размещенных в открытом доступе запросов на ресурсы. Как правило, речь идет о большом количестве Telegram-каналов, в которых запросы появляются в большом количестве круглосуточно и ежедневно.

2. Описание реализации кейса и творческого пути по поиску оптимального решения

ПАРСИНГ КАНАЛОВ

Один из важнейших элементов — парсинг телеграмм-каналов. Сейчас осуществляется мониторинг более 50 каналов и чатов (как публичных, так и закрытых). Ежедневный объем обрабатываемых сообщений доходит до 500.

Все полученные сообщения моментально заносятся в базу данных и становятся доступны в интерфейсе сервиса.

ML-КЛАССИФИКАТОР

Наличие ML-классификатора — главная особенность разработанного сервиса.

Мы собрали датасет из нескольких десятков тысяч запросов, произвели его ручную разметку и на основе этих данных обучили разработанную нейросеть самостоятельно классифицировать все запросы по интересующим нас параметрам.

На текущий момент нейросеть умеет:

• определять релевантные и «мусорные» сообщения;
• определять смысл сообщения: это запрос ресурсов или же предложение ресурсов;
• выделять технологический стек, о котором идет речь в сообщении;
• определять необходимый уровень разработчика: junior, middle, senior.

Благодаря этой автоматизации в базу сервиса попадают сразу классифицированные сообщения.

РАБОТА С ЗАПРОСАМИ

Менеджеры на основе их прав доступа могут видят те или иные сообщения.

Лента предоставляет возможность фильтрации сообщений, а также работы с параметрами запросов.

АВТОМАТИЧЕСКИЙ МОНИТОРИНГ ПО ПАРАМЕТРАМ

Каждый менеджер может настроить для себя мониторинг запросов по определенным параметрам (например: «запросы на Middle React разработчиков»). Если в процессе парсинга будет найден такой запрос — менеджер мгновенно получит уведомления в телеграм и на почту.

CRM

CRM разработана с учетом особенностей взаимодействия при работе в формате аутстаффинга. Удобное представление данных по текущим запросам, назначенным интервью и актуальному пулу свободных разработчиков помогают менеджерам держать руку на пульсе и ничего не забывать.

СТЕК И АРХИТЕКТУРА

Применяется микросервисная архитектура.

Для реализации микросервиса парсинга и ML-классификатора используется Python.

Основной бэкенд работает на Laravel, база данных — PostgreSQL.

Основной фронтенд реализован на React + TypeScript.

3. Результаты сотрудничества

Ежедневно сервис обрабатывает и классифицирует 200+ запросов из 50+ каналов и чатов.

Точность автоматической классификации на текущий момент более 80% (8 из 10 запросов классифицируются корректно).

У менеджеров больше нет ежедневных трудозатрат на мониторинг каналов с запросами.

Модуль аналитики показывает динамику изменения спроса на рынке в разрезе технологий, спроса и предложения, что позволяет принимать управленческие решения на основе репрезентативных данных.