За 3,5 месяца с нуля разработали приложение с использованием ML для изучения языков через VR

1. Вводная задача от заказчика, проблематика, цели

Имелись неопределенности на проекте – обобщенная концепция требовала доработки и только затем реализации. Бюджетные ограничения требовали использования только опенсорсных и бесплатных инструментов. Сжатые сроки на разработку к дате презентации проекта инвесторам, но отсутствовали готовые решения для ускорения разработки – выполнения анализа речи, фонетического разбора, а также распознавания голоса в VR-шлеме.

Одной из задач, создающих сложности в разработке контента для VR-сцен, является его проработка в VR-окружении.

На рынке отсутствовали готовые решения, позволяющие взаимодействовать с пользователем посредством голосовых команд, приостанавливать VR-сцены и использовать интерактивный контент в 360°-видео.

2. Описание реализации кейса и творческого пути по поиску оптимального решения

- Подключили аналитика к проекту, подготовили документацию, определили точную концепцию проекта, протестировали множество инструментов для создания VR платформы.

- Использовали только свободные инструменты и разработали все необходимые компоненты, которые отсутствовали на рынке готовых бесплатных решений.

- Включили в проект Data Scientist, который объединил 3 нейросети в 1 модуль. Самостоятельно с нуля проработали распознавание речи в VR-шлеме, ее анализ, разбор и подготовку фидбека пользователю, успев в срок.

- Провели эксперименты с различными подходами, выбрали A-Frame для запуска видео в VR, проведя необходимую конфигурацию для решения задач.

-Разработали видеоплеер и редактор контента для VR, которые полностью соответствуют требованиям и не имеют аналогов на рынке.

3. Результаты сотрудничества

- Разработали уникальную платформу, не имеющую полноценных аналогов в мире. 

- Сократили расходы клиента на проект, использовав бесплатные опенсорсные инструменты и впоследствии преодолев значительные препятствия.

- Приложение позволяет учащимся улучшить языковые навыки с помощью анализа речи и погружения в среду изучаемого языка.