Артрегистратор: система распознавания произведений искусства

1. Вводная задача от заказчика, проблематика, цели

United Kingdom Creative Ideas Ltd. (UKCI) — международная компания с центральным офисом в Лондоне, являющаяся регистратором и владельцем доменной зоны. Основной проект компании — управление доменной зоной .art. Помимо этого, они развивают сервисы для художников и коллекционеров, объединяя искусство и технологии.

Компания обратилась к нам с идеей: создать технологию, которая позволит пользователю сделать снимок картины на смартфон и получить информацию о ней за считанные секунды. Кто автор? Как называется картина? В каком веке нарисована? И все это без экспертов и ручного поиска.

Задача требовала комплексного подхода:

• Разработать алгоритм, который сопоставляет картину на фотографии с ее оригиналом из каталога музея The Metropolitan (The Met).
• Оценить качество поиска по каталогу, выявить основные проблемы и сформировать план их решения.

2. Описание реализации кейса и творческого пути по поиску оптимального решения

Мы начали с интеграции с датасетом MetObjects - открытой коллекцией музея The Met, включающей более 470 000 произведений искусства.

После анализа данных наша система теперь способна за 2 секунды определить характеристики картины: автора, век и название.

Система ищет картины двумя способами:

• Через API музея The Met по ключевым словам: например, painting, landscape, portrait и др.
• По ключевым словам в датасете MetObjects.

Результаты двух подходов были объединены. Таким образом, мы собрали стартовую выборку из около 25 000 произведений.

После этого началась работа с изображениями. Мы протестировали несколько алгоритмов для поиска совпадений между фото и оригиналами.

Один из них — эмбедеры.

Эмбедер — это нейронная сеть. Такая модель обучается как классический классификатор. На этапе применения модели обычно используется последний полносвязный слой, который преобразует изображение в числовой вектор длины n.

SIFT и алгоритмы классического компьютерного зрения

Мы протестировали классические архитектуры классификаторов, такие как ResNet50 и MobileNet, а также архитектуры с использованием слоя ArcFace. Этот слой на этапе обучения увеличивает расстояние между эмбеддингами объектов разных классов.

Для повышения устойчивости моделей мы использовали искажённые и разномасштабные изображения, чтобы минимизировать переобучение. Совпадения фильтровались с помощью специальных метрик, отсеивающих “шумовые” совпадения.

Как работает система

Полный пайплайн включает в себя:

• 1. Детекцию картин на фото.
• 2. Матчинг (сопоставление) выделенных детектором картин.
• 3. Расширение каталога.

Детекция картин на фото

В качестве детектора была обучена модель CenterNet ResNet50. Обучающая выборка включала 367 музейных фотографий с вручную размеченными объектами (картинами и рисунками).

Во время тестирования возникла сложность: в отличие от тестовых фотографий, в реальной жизни на снимке может присутствовать не одна картина, а сразу несколько, включая частично попавшие или “фоновые”. Мы дообучили модель на таких примерах, чтобы она научилась выделять все релевантные объекты в кадре.

Сбор информации по выделенным детектором картин и матчинг

После того как детектор выделяет все интересующие картины на фотографии, система приступает к поиску их соответствий в базе. Здесь возникает нюанс: мы используем расширенную валидацию, включающую не только основные картины, но и дополнительные, находящиеся рядом с ними.

Однако для большинства таких дополнительных картин у нас нет разметки на класс. Иными словами, в базе нет картин, с которыми их можно сопоставить. Поэтому следующая задача - расширить каталог.

Расширение каталога

Мы начали с подключения датасета WikiArt, содержащего более 81 000 произведений, классифицированных по авторам и стилям. На его основе мы продолжаем расширять выборку, чтобы увеличить точность распознавания и покрытие.

3. Результаты сотрудничества

• Алгоритм матчинга работает не только с фотографиями картин, но и с фотографиями рисунков.
• Выстроен рабочий пайплайнохватывающий весь процесс — от детекции картин и рисунков на фотографиях до их матчинга.
• Каталог был расширен до 90 000 объектов, включая картины и рисунки, а пайплайн успешно справляется с глобальным поиском, демонстрируя хорошие результаты.