ML-решение для интернет-магазина Lamoda, которое ускорило обработку фото в 60 раз

1. Вводная задача от заказчика, проблематика, цели

Если вы когда-либо покупали одежду или обувь на Lamoda, то знаете, что товары в каталоге выглядят отлично — их хочется купить сразу. Созданием таких привлекательных фото занимается целый отдел фотографов и ретушеров. Ежедневно на собственной фотостудии компании проводится множество съемок новых товаров. После этого каждый отобранный кадр нужно привести к стандартам качества Lamoda. На каждую фотографию у ретушера уходит несколько минут — не так и много. Но в условиях быстро растущего интернет-магазина, куда постоянно нужно добавлять новые позиции, время имеет значение. Поэтому передать рутинную работу компьютеру — решение, которое поможет сократить временные и финансовые затраты. С этим представители Lamoda обратились к нам.

2. Описание реализации кейса и творческого пути по поиску оптимального решения

Для карточек в каталоге Lamoda важна ориентация объекта в кадре — он всегда должен быть расположен в центре, на фоне с градацией светлых оттенков, иметь тень, для которой также есть параметры. Чтобы обеспечить базовую обработку фото, мы использовали ансамбль из двух нейросетей:

• Первая осуществляет дихотомическую сегментацию изображений. В результате изображение разделяется на сегменты или области, которые считаются однородными по некоторым критериям, например, по цвету, текстуре или интенсивности.
• Вторая нейронная сеть, Deep-OAD — это модель глубокого обучения, которая определяет угол ориентации естественного изображения.

Также мы использовали набор морфологических операций библиотеки OpenCV для обработки разных ракурсов объекта — в профиль, сверху, и для поворота в пространстве.

Для обработки вида в профиль фото обуви загружается в сервис и автоматически обрабатывается нейросетью. Для этого используется несколько операций — установка объекта на фон, установка белого фона, затемнение, которое улучшает контраст и яркость изображения, делает его более насыщенным и выразительным, коррекция фона для оптимизации освещения и теней на фоне, чтобы сделать изображение более естественным.

Чтобы фото обуви сверху также смотрелось красиво, соответствовало стандартам интернет-магазина, изображение загружается по указанному пути, для его фона задается уровень белого, применяются такие операции, как коррекция поворота, коррекция наклона линии, позиционирование объекта. После этого устанавливается белый фон, производится затемнение фото и коррекция фона.

Поворот обуви был наиболее сложной задачей. Мы научили модель разворачивать объект на фото с помощью набора последовательных действий. Изображение загружается в систему, после этого нейросетевая модель Deep-OAD определяет необходимый угол, при котором обувь будет ориентирована корректно. После этого с помощью нескольких операций проводится цветовая коррекция фото и установка правильных фона и тени.

Для обучения модели мы использовали обширную базу уже обработанных сотрудниками фото и их исходников. На ее основе нейросеть научилась отличать корректно и некорректно повернутые объекты — буквально приобрела «насмотренность».

3. Результаты сотрудничества

Сервис, который мы создали для Lamoda:

• обучается на базе уже созданных и отредактированных фотографий обуви — так он может решать сложные задачи по повороту изображения без строго заданного угла;
• приводит фото к стандартам качества, установленным в компании;
• редактирует фон, чтобы подать товар в выгодном свете.