SignLab: сурдопереводчик на базе ИИ

1. Вводная задача от заказчика, проблематика, цели

SignLab – онлайн-сурдопереводчик, в его основе – искусственный интеллект. Это внутренний проект. В нашем Data Science-отделе давно устоялась практика: чтобы развивать и совершенствовать направление, постоянно берем в разработку что-нибудь интересное и неординарное.

2. Описание реализации кейса и творческого пути по поиску оптимального решения

Чтобы ИИ смог правильно переводить жестовый язык, он должен научиться анализировать смысл «сказанного».

• Проект разработан на Python с применением open source-инструментов.
• Технология MediaPipe от Google мы использовали как модель для распознавания.
• Для обучения ИИ мы сами записывали и размечали видео, сами создали словарь состояний жестов.
• Разработали алгоритм скользящего окна, который по набору предыдущих слов предугадывает следующее.

3. Результаты сотрудничества

Вот так работает SignLab:

• Модель MediaPipe Holistic получает первичное изображение. Ищет людей на этом изображении и строит модель скелета по точкам в трехмерном пространстве.
• Затем модель преобразует первичную информацию. Результатом становится вектор, который содержит максимальное количество полезной информации в сжатом объеме.
• Один вектор характеризует положение частей скелета и рук на одном кадре видео. Модель собирает наборы таких векторов, после чего может распознавать слова.
• Технологии text-to-speech и speech-to-text осуществляют перевод жестового языка в текст и голос, добавляя окончания и расставляя знаки препинания.