Автоматизированная инспекция груза

1. Вводная задача от заказчика, проблематика, цели

Стартап, работающий в сфере складской логистики, обратился к нам с задачей автоматизировать приёмку грузов.

Прежде процесс был полностью ручным: сотрудники проверяли упаковку, фиксировали вес, осматривали на наличие дефектов, вручную заполняли карточку груза и вводили данные в систему.

Команде требовалась система, которая:

• фиксирует поступление груза;
• определяет тип упаковки;
• находит дефекты и повреждения;
• измеряет вес и габариты;
• автоматически формирует полную карточку груза для ERP.

Решение должно было быть быстрым, точным, устойчивым к росту объёмов и пригодным для развёртывания на других складах.

2. Описание реализации кейса и творческого пути по поиску оптимального решения

Мы разработали AI-систему инспекции, объединяющую компьютерное зрение, машинное обучение, ROS, 3D-моделирование и физические устройства (камеры, весы, сканеры).

Система построена как автономный модуль и легко встраивается в существующие складские процессы без необходимости полной перестройки инфраструктуры.

Инспекция груза проводится с помощью прямоугольной металлической конструкции, которую мы называем стендом. На вершинах каждой из сторон стенда закреплены камеры, обеспечивающие круговую съёмку. В центре конструкции установлены весы для взвешивания.

Как это работает:

• 1. Груз поступает на склад, и его идентифицируют с помощью сканирования QR-кода (или Data Matrix). Все последующие данные: вес, тип упаковки, габариты, дефекты – автоматически привязываются к этому коду. Так мы отслеживаем информацию о грузе на каждом этапе обработки и доставки.
• 2. Груз помещают на весы и взвешивают.
• 3. Камеры делают круговую съёмку.
• 4. Модели сегментации определяют тип упаковки.
• 5. Модель детекции ищет дефекты.
• 6. Построенная 3D-модель позволяет точно определить габариты и количество единиц груза.
• 7. Результаты инспекции собираются в карточку груза и автоматически передаются в ERP-систему компании.

Контроль качества и дообучение моделей

В логистике и складских операциях со временем появляется всё больше видов упаковки и возможных дефектов. Модель машинного обучения, обученная на одних видах упаковки или дефектов, со временем начинает терять точность при использовании на новых видах.

Чтобы этого не происходило, мы используем процесс регулярного дообучения модели. Это позволяет системе адаптироваться к изменениям, появлению новых грузов, упаковок и дефектов без необходимости строить всё заново.

Для контроля качества работы нашей системы инспекции мы создали процесс мониторинга и регулярного дообучения моделей. Он состоит из нескольких этапов:

1. Непрерывный сбор данных. Мы устанавливаем камеры и стенды как у клиентов, так и в собственной лаборатории. Система регулярно собирает изображения и другие данные с реальных грузов.

2. Анализ и идентификация ошибок. Раз в неделю мы просматриваем свежие данные и проверяем, где модель ошибается:

• неправильно измеряет размеры;
• пропускает дефекты;
• путает типы упаковки.

3. Маркировка ошибок. Обнаруженные проблемы мы помечаем специальными тегами. Это помогает подготовить правильные данные для дообучения модели.

4. Обновление модели. Мы дообучаем модель только на новых данных. Для этого используем специальный инструмент Datapipe, который автоматически добавляет новые примеры в общий набор, не трогая остальную часть. Это как добавить фотографии в альбом, не переснимая всё заново.

5. Повторная проверка. После обновления модели проходит новый раунд мониторинга, чтобы убедиться, что качество действительно улучшилось.

Метрики качества моделей

Для оценки производительности модели необходимо регулярно анализировать её ключевые метрики. Для этого рассчитывают следующие показатели:

• Precision и Recall — для оценки точности и полноты детекции объектов.
• F1-score как гармоническое среднее Precision и Recall показывает, насколько точно и полно модель распознаёт данные. Чем ближе значение к 1, тем лучше работает модель.
• Взвешенный (weighted) и макро (macro) F1-score — для общей оценки работы модели: взвешенный F1-score учитывает частоту каждого класса, показывая, как модель справляется с каждым из них, а макро F1-score оценивает точность по каждому классу независимо от их частоты.

Для мониторинга метрик мы используем платформу Metabase. Она удобна в использовании и прекрасно подходит, чтобы отслеживать показатели качества работы моделей в динамике.

3. Результаты сотрудничества

Разработанная нами система обеспечивает:

• Круговой обзор (360°): фотофиксация с каждой стороны с помощью встроенных камер.
• Измерение веса: точное взвешивание для учёта и контроля.
• Обнаружение дефектов: система находит и классифицирует повреждения упаковки или товара.
• Габариты: измерение длины, ширины и высоты с высокой точностью.
• Тип упаковки: автоматическое определение формы и материала.
• Сканирование маркировки: считывание QR-кодов, штрих-кодов и Data Matrix для интеграции с ERP-системами.
• Подсчёт единиц груза: определение количества мест внутри партии.
• Карточка груза: автоматическое сохранение всех параметров в едином формате.
• Отчёты: генерация подробной документации по каждому грузу.

После внедрения заказчик снизил долю ручных ошибок, ускорил процесс приёмки и получил надёжную основу для контроля качества на складе.