Английский с Элом — AR/VR-приложение для Skyeng и SberDevices

1. Вводная задача от заказчика, проблематика, цели

AR-приложение «Английский с Элом» – это одно из первых приложений, созданных специально для смарт-дисплея SberPortal с набором для приложений с дополненной реальностью Kidsar. Продукт должен был стать не просто обучающим помощником для детей, но и показать все возможности нового умного устройства Sber, привлечь к нему внимание детско-родительской аудитории.

2. Описание реализации кейса и творческого пути по поиску оптимального решения

«Английский с Элом» – один из пилотных проектов SberDevices. Поэтому нам предстояло изучить сам портал и его движок, а еще протестировать работу и вместе с командой заказчика спроектировать необходимые модули для поддержки AR-функциональности. Пожалуй, в этом была основная нетривиальность задачи для нас.

Мы сосредоточились на проектировании максимально сбалансированного и разумного решения: от создания интерфейсов пользователя до разработки приложения на Unity и интеграции персонажа — марсианина Эла — в экосистему Sber.

В основе приложения лежит обучение самого распространённого языка на нашей планете с помощью модели Edutainment. Этот подход совмещает существующие интерактивные методы и технологии работы, а также новые диджитал-технологии и геймификацию учебного процесса.

В «Английском с Элом» ребёнок осваивает первые 135 английских слов с помощью карточек и общения с виртуальным героем. Система распознаёт речь ребёнка (с британским и американским акцентом) и карточки под камерой, помогая ему в изучении иностранного языка. Он отправляется в увлекательное путешествие с марсианином Элом, посещая консервативный Лондон и королевский Букингемский дворец, демократичную Америку и красочную Бразилию.

Мы разработали:

• Unity-приложение, в котором воплотилась в жизнь задумка дизайнеров и методистов:
• Дизайн приложения — от базовых UI-элементов и игровых локаций (карта мира, стран, игровых уровней) до сложных анимаций персонажа.
• Голосовой дизайн приложения и таксономию эмоций персонажа.
• Логику и механику игры.
• Синхронизировали озвучку и анимацию персонажа в игре.
• Настроили навигацию внутри приложения (переходы между локациями и уровнями).
• Провели сложную интеграцию с библиотекой распознавания карточек, разработанной Sber AR/VR Lab.
• Интегрировали backend-сценарий для внедрения голосового управления в игру.
• Научили игру распознавать голосовые команды игрока и выполнять действия по этим командам.
• Спроектировали принципы взаимодействия между игрой, сторонними сервисами и игроками.
• Разработали систему монетизации в приложении.
• Добавили фичи по сбору продуктовой аналитики в сам сервис.

Для игры понадобится SberPortal с набором Kidsar: это игровое поле с карточками и специальное зеркальце, благодаря которому камера смарт-дисплея «видит», что происходит на игровом поле. Вместо того, чтобы взаимодействовать исключительно с экраном планшета, ребенок взаимодействует с карточками: например, выкладывает из букв слова, изображения которых видит на экране. Или кладет перед планшетом карточку с картинкой того слова, которое услышал в игре.

Анастасия Рубель

менеджер проекта, SberPortal

Мы знали, что у KODE есть экспертиза в разработке мобильных приложений. Проект для SberPortal – это APK-файл. По сути, Android-приложение. Кроме того, у ребят на момент старта проекта были все необходимые компетенции в VUI. Поэтому наш выбор пал на них и мы не пожалели. Ребята проделали большую работу.

Все участники этого проекта были настоящей командой, реализовавшей в сжатые сроки сложнейший технологический продукт. Могу сказать так: KODE можно доверять :)

3. Результаты сотрудничества

Игра «Английский с Элом» создана для детей 6-11 лет. Она помогает им выучить популярные английские слова на разные темы.

«Английский с Элом» — вторая по популярности игра в наборе Kidsar, который есть примерно у 20% владельцев SberPortal. Еженедельная возвращаемость в приложение 10%, а за все время приложением воспользовались более 4 тысяч детей.

4. Заключение

Английский с Элом — это симбиоз AI, AR, VR-технологий, сложной бэкенд-системы, проработанной обучающей методологии и таланта сразу трех компаний, которые задают тренды в своей индустрии.