AI-система распознавания маркировки на товарах в реальном времени

1. Вводная задача от заказчика, проблематика, цели

Деятельность нашего заказчика связана с обработкой большого объема товаров. Одной из ключевых задач компании является проверка подлинности продукции, которая требует распознавания информации на упаковке: штрих-кодов, QR-кодов, текстов и символов. В соответствии с требованиями законодательства РФ, целый ряд товаров подлежит обязательной маркировке. К ним относятся алкоголь, молочная продукция, косметика, фармацевтические товары и другие категории.

Обязательная маркировка делает каждую единицу товара уникальной, поэтому прием и отгрузка товаров на складе теперь осуществляются по уникальным двумерным кодам, таким как Data Matrix и QR-коды.

Работники склада сканировали обязательную маркировку на товарах и вручную вводили данные о них в систему. По этим кодам товар отслеживали на всем его пути от производителя до конечного пользователя.

Однако такой подход имел несколько недостатков:

• Низкая скорость обработки товаров. Компания сталкивалась с проблемой медленной обработки товаров на складах, что приводило к задержкам в упаковке и отправке товаров. Это снижало эффективность работы и увеличивало сроки доставки до конечного потребителя.
• Ошибки из-за человеческого фактора. В процессе ручного считывания и ввода данных регулярно возникали ошибки. Это приводило к неправильной обработке товаров, сбоям в учете и, как следствие, финансовым потерям. Проблема усугублялась при работе с большими объемами товаров, где точность данных была критически важна для операционной эффективности.
• Риски контрафактной продукции. На рынке немало поддельных товаров, которые не только наносят финансовый ущерб производителям и ритейлерам, но и представляют угрозу для здоровья потребителей. Особенно остро эта проблема стоит в таких отраслях, как фармацевтика и пищевая промышленность, где поддельная продукция может иметь серьезные последствия. Отсутствие надежных механизмов контроля качества и идентификации подлинных товаров наносит ущерб всем участникам торговой сделки, от производителя до конечного пользователя.

Компании требовалось решение, которое повысило бы скорость обработки товаров при максимальной точности распознавания маркировки на них.

Перед нами стояла задача создать AI-систему распознавания маркировки на товарах, которая:

• Обеспечит высокую скорость обработки. Система должна быстро и эффективно считывать информацию с товаров, включая штрих-коды, QR-коды и текстовые данные, чтобы минимизировать задержки на этапах приемки, упаковки и отгрузки.
• Гарантирует точность распознавания. Решение должно исключить ошибки и обеспечить безошибочное считывание и обработку данных даже при работе с большими объемами товаров.
• Обеспечивает контроль подлинности продукции. Система должна идентифицировать поддельные товары по уникальным маркировкам (Data Matrix и QR-коды), чтобы защитить интересы компании и потребителей, особенно в отраслях с высокими рисками контрафакта, таких как фармацевтика и пищевая промышленность.
• Снимает нагрузку с работников склада: Решение должно автоматизировать рутинные процессы, такие как считывание и ввод данных, чтобы снизить физическую и эмоциональную нагрузку на сотрудников, повысить их производительность и сократить вероятность ошибок.
• Устойчива к внешним вызовам. Решение должно функционировать стабильно даже в условиях ограниченного доступа к зарубежным технологическим платформам и облачным сервисам, что стало особенно актуально после введения санкций.

2. Описание реализации кейса и творческого пути по поиску оптимального решения

Мы разработали систему, основанную на технологиях компьютерного зрения и машинного обучения. Она позволяет автоматически детектировать, классифицировать и расшифровывать информацию с маркировки товаров.

Как это работает?

Захват видеоизображений.

Все начинается с камеры мобильного устройства. Работник склада или покупатель в магазине открывает приложение, наводит камеру на товар, и система начинает снимать видео или делать фотографии. Эти изображения сразу же загружаются в систему распознавания маркировки и подвергаются обработке.

Детекция маркировки

На этом этапе система анализирует каждый кадр, чтобы найти объекты, которые ей интересны. Модель компьютерного зрения сканирует изображение, находит двумерные коды или знаки маркировки и выделяет их ограничивающими рамками.

Классификация объектов

После детекции наступает этап классификации. Координаты каждой рамки передаются в модель классификации, которая анализирует изображение, вычисляет признаки и определяет, что именно находится внутри рамки: двумерный код, торговый знак или что-то еще.

Объединение детекций: полная картина

После того как центральные объекты прошли классификацию и, при необходимости, дополнительную обработку, их результаты объединяются с данными о боковых объектах. Теперь у системы есть полная картина: она знает, какие маркировки находятся на изображении, где они расположены и что они из себя представляют.

Визуализация: результаты прямо на экране смартфона

Финальный этап - визуализация. На исходное изображение или видео наносятся результаты работы системы:

• Каждый объект обрамляется рамкой.
• Рядом с маркировкой отображается информация о ее содержании.

Теперь пользователь видит не просто изображение товара, а полную информацию о его маркировке.

3. Результаты сотрудничества

Мы создали AI-систему, которая превращает обычный смартфон в инструмент для распознавания маркировки. От захвата изображения до визуализации результатов - каждый этап процесса оптимизирован для скорости, точности и удобства.

После внедрения системы компания смогла:

• Ускорить обработку товаров: автоматизация позволила сократить задержки при приемке и отгрузке продукции.
• Свести к минимуму ошибки: человеческий фактор более не влияет на точность ввода данных.
• Усилить контроль качества: защита от поддельной продукции стала проще и надежнее.
• Повысить прозрачность цепочки поставок: возможность отслеживания товара на всех этапах его движения.
• Гибко интегрировать решение: API позволяет легко встраивать систему в любые существующие процессы без серьезных изменений инфраструктуры.