Парсим тысячи сайтов для сервиса продажи техники

1. Вводная задача от заказчика, проблематика, цели

Агрегатор Machinio был создан в 2012 году. Он автоматически собирает и сортирует данные тысячи продавцов со всей Америки, которые реализуют подержанную сложную технику. Это сокращает время закупщикам и менеджерам, которые ищут такие агрегаты.

Ценность сервиса не только в том, что данные собраны в одном месте, но и в том, что с продавцом связаться можно быстро и просто — кликнув на понравившееся объявление.

2. Описание реализации кейса и творческого пути по поиску оптимального решения

Алгоритм сбора данных был придуман основателями стартапа. Но кроулеры собственной разработки спасали не всегда, часть продавцов осталась неохваченной. Тут пригодилось наше open-source решение — Ferrum. С его помощью мы смогли собирать данные с сайтов, использующих Vue или React.

Ferrum контролирует Chrome через WebSocket с использованием протокола Chrome DevTools (который позволяет отслеживать, проверять и отлаживать код в бразуерах на основе Chromium) и предоставляет высокоуровневый API к нему для управления.

Попробовать его можно уже сейчас — он доступен на Github. Отдельную историю про то, что нам даёт работа над подобными проектами мы тоже рассказывали.

Потом возник другой вопрос — обработка данных. Кто-то продаёт трактор, а кто-то — печатный станок. Решением стало подключение машинного обучения.

Объявления обычно собраны в один файл — листинг. Модель обучена распознавать разные типы листингов и может «съесть» большую часть найденной информации. Если появляются расхождения, она их анализирует и классифицирует для дальнейшей работы.

Иногда, правда, требуется помощь людей, но даже так она экономит кучу времени.

3. Результаты сотрудничества

На рынке существуют похожие сервисы, но у Machinio есть несколько особенностей, которые помогают привлечь аудиторию:

• сервис оптимизирован для поисковых систем, его легко найти
• каталог содержит предложения в 190+ странах мира, что помогает пользователям найти наиболее удобные предложения
• покупатели проверяются перед размещением листингов, а фейковые запросы отсеиваются

Стартап Machinio привлек более $4,04 млн финансирования. В 2015 году Дэн Пинто и Дмитрий Рохфельд попали в список Forbes: 30 Under 30. В 2017 году был открыт второй офис компании — в Берлине, а в июле 2018 года основатели продали Machinio компании Liquidity Services, которая в настоящее время и осуществляет управление его активами.