Разработка ИИ-логопеда для диагностики дефектов речи у детей

1. Вводная задача от заказчика, проблематика, цели

Проблемы с произношением есть у каждого второго школьника, утверждают логопеды. Их можно устранить на раннем этапе, но часто сложности списывают на детский возраст, а когда дефекты речи становятся очевидны, исправить их сложно. Поэтому спектрограмма, как сервис для дистанционной первичной диагностики, сможет предотвратить развитие и усугубление проблем и просигнализировать, если требуется вмешательство специалиста.

Фармкомпания «Герофарм», чтобы бороться со страхами и стереотипами о когнитивном развитии, запустила портал ПРО.МОЗГ, на котором можно прочитать очень много полезных и доступных материалов о том, как работает мозг, как «действуют» болезни и меняется организм. Кроме того, на сайте есть спектрограмма – сервис, который помогает родителям в игровом формате протестировать ребенка и определить, есть ли у него дефекты речи.

Задача

Мы должны были разработать инструмент, который будет:

• простым в использовании и позволит проходить диагностику одновременно большому количеству пользователей;

• подтвержденным экспертным сообществом – все задания должны быть подготовлены совместно с профессиональными врачами;

• автоматизировать и улучшить процесс первичной консультации пациентов.

2. Описание реализации кейса и творческого пути по поиску оптимального решения

Для достижения всех целей мы разработали и интегрировали на портал сервис «Спектрограмма». Он выглядит как чат-бот в формате виджета на сайте с возможностью записи аудиофайлов. Тестирование происходит в игровой форме: под руководством родителей ребенок должен произнести предложенные фразы, а в это время ML-модель в автоматическом режиме определяет, произнесена ли фраза с дефектом. Дальше информация перенаправляется логопеду, и он на основе заключения программы определяет, нужно ли ребенку вмешательство врача. Результаты тестирования отправляются родителям на почту.

Одна из сложностей в реализации проекта – отсутствие достаточного количества данных для обучения модели и сложная разметка данных для обучения нейросети. Поэтому вначале в качестве обучающих данных для улучшения точности модели мы использовали записи пользователей из виджета, которые на первом этапе обрабатывались логопедами полностью вручную.

Виджет реализован с учетом особенностей UX/UI для родителей, а также с учетом взаимодействия ребенка с интерфейсом во время прохождения тестирования. Сами задания разработаны логопедами, а затем адаптированы под интерфейс чат-бота.

Дмитрий Пухов

CTO, Cleverbots

Как только пользователь записал и отправил аудиозапись, наша модель приступает к обработке, и через пару секунд результаты уже лежат в БД. В момент, когда логопед будет проверять анкету пользователя, подсказки от нашей модели уже будут у него перед глазами.

Классический подход масштабируемый под трафик. Мы решили, что модели будут меняться, и захочется прогнать все аудиозаписи уже с помощью новой модели: для этого предусмотрели специальный функционал, который это осуществляет. Объемы на данном этапе позволяют это, а в случае невероятного роста количества сообщений, мы сможем ограничиться лишь записями, например, за последний год.

3. Результаты сотрудничества

Точность распознавания дефектов речи составляет более 80% для качественных аудио.

Светлана Науменко

руководитель отдела digital, Герофарм

Когда мы общались с неврологами, мы определили вторую проблему, к которой можно применить наше ИИ-решение: в России много людей, которые пережили инсульт и восстанавливаются после него в течение нескольких лет. Очень важна фиксация прогресса – они приходят, произносят какую-то фразу, и через какое-то время нужно снова произнести эту фразу, чтобы врач понимал, есть ли улучшения или нужно менять терапию.

ПРО.МОЗГ