SignLab: сурдопереводчик на базе ИИ

1. Вводная задача от заказчика, проблематика, цели

В 2022 году у нас появилась задумка создать ИИ-сурдопереводчик, который понимал бы жестовый язык и превращал его в текст или речь. С технической стороны идея выглядела реализуемой, но у нас не было опыта работы с жестовыми языками. А значит, предстояло не просто обучить модель, а научиться понимать совершенно иной способ мышления – визуальный, трехмерный, построенный на образах, а не на словах.

2. Описание реализации кейса и творческого пути по поиску оптимального решения

Мы начали с погружения в структуру жестового языка. Выяснилось, что он лишен привычных грамматических связей: здесь нет падежей, предлогов и знаков препинания, а смысл выражается позой, мимикой, скоростью и траекторией движения рук.

Мы построили решение на Python, использовав open source-технологии вроде MediaPipe Holistic от Google. Мы сами записывали и размечали видео, создавали собственный словарь состояний жестов и разработали алгоритм скользящего окна, который предсказывает следующее слово на основе предыдущих.

Модель анализировала изображение, строила 3D-скелет человека по ключевым точкам и превращала его в векторы данных. А дальше в дело вступали text-to-speech и speech-to-text – технологии, которые делали перевод осмысленным и звучащим.

Так ИИ научился видеть не просто движения, а «понимать» язык.

3. Результаты сотрудничества

SignLab стал рабочим прототипом с огромным потенциалом. Его алгоритм можно встроить в любое решение: от банковских терминалов и госуслуг до онлайн-обучения и систем видеоконференций. В перспективе – и в развлекательные сервисы, и в образовательные платформы.

Возможности кастомизации широки: мобильная версия для ежедневных коммуникаций, тренажер жестового языка, генерация жестов из текста или речи для 3D-аватаров. Все это делает SignLab полезным там, где коммуникация раньше была затруднена.