Компьютерное зрение для робота-сортировщика компании ECOBOT

1. Вводная задача от заказчика, проблематика, цели

Компания ECOBOT придумала систему, которая принимает физический пакет с мусором, открывает его и распределяет содержимое по конвейеру. Над конвейером установлены роботизированная рука (роборука) и камера, которые с помощью компьютерного зрения определяют и классифицируют виды мусора: пластик, стекло, металл, картон. Роборука затем захватывает мусор и переносит его в соответствующий контейнер для дальнейшей переработки.

Задача

Обучить искусственный интеллект распознавать объекты и интегрировать его в систему управления механической рукой.

2. Описание реализации кейса и творческого пути по поиску оптимального решения

Итак, давайте разбираться: вы кинули мусор на стол. И в этот самый момент начинается магия. ECOBOT распознает и классифицирует предмет.

Например, он понимает, что есть стеклянная бутылка, пакет или смятый кусок бумаги. После того как мусор идентифицирован, система рассчитывает траекторию и передает команду роборуке, которая забирает предмет со стола и помещает его в соответствующий контейнер.

Используемые технологии

• CenterNet
• ResNet50
• Jetson Nano
• Robot Operating System

Сложность

Задача робота не только найти мусор на изображении и определить его класс, но и на основании этого понимания дать команду роборуке. Поэтому после обнаружения изображения искусственный интеллект осуществляет пересчет координат и дает команды вида «повернись на 15 градусов», «опустись вниз», «на смещении в 10 см сделай захват», «положи в левую коробку».

И чтобы рука выполнила команду, необходима суперточность, грамотно настроенное взаимодействие с внешним миром. Наша нейронная сеть должна научиться точно определять координаты объектов на изображении, анализируя каждый пиксель фотографии.

Процесс работы

1. Захват видео с камеры.

2. Распознавание. (Детекция и классификация объектов на изображении).

3. Пересчет координат. То есть их преобразование из пикселей на картинке в управляющие сигналы для робота.

4. Соединение всех шагов в физические команды для системы, которая контролирует робота. Разработкой этой системы занимаются наши коллеги-робототехники.

3. Результаты сотрудничества

Мы разработали систему управления роботом с вращающимся столом.

Наш искусственный интеллект способен:

• обрабатывать 4 кадра в секунду;
• распознавать 8 типов объектов.

Но самое крутое, что данная технология может быть использована и в других отраслях и даже с большим количеством объектов.

Компьютерное зрение находит применение практически в любой сфере.

Оно помогает:

• находить товары с дефектом на конвейерах;
• подсчитывать количество продукции на складах;
• оценивать состояние дорог;
• распознавать изображения и видео, и многое другое.

Везде, где нужно физически посмотреть и проанализировать большое количества объектов, помогут роботы.