Разработка первого в мире мобильного детектора лжи

1. Вводная задача от заказчика, проблематика, цели

Приложение Verity – собственная разработка, созданная совместно с компанией Спектр, которая отвечала за методологическую часть проекта. Мы решили создать первый в мире детектор лжи в виде приложения, пользоваться которым смогут обычные пользователи. При этом вердикт приложения должен строиться на максимально научных основаниях. Для этого нам было важно найти способы адекватного сбора данных, на которых будет основываться вердикт, и написать алгоритм для анализа этих данных. Кроме того, нам было важно дать пользователю максимально простой инструмент, обоснованно распознающий ложь.

2. Описание реализации кейса и творческого пути по поиску оптимального решения

Самой главной задачей на первом этапе разработки стал вопрос данных, которые станут основанием вердикта мобильного детектора лжи.

• Считывание пульса. Мы рассмотрели различные модели фитнес-трекеров и умных часов, которые умеют считывать показания пульса. Известно, что пульс человека изменяется, когда тот лжет. Но нам не удалось найти общедоступный гаджет, который передавал бы информацию о пульсе в реальном времени, так что идея интеграции приложения с трекером отпала. Нам пришлось искать другой способ. При изменении пульса меняется цвет лица, и мы решили использовать технологию компьютерного зрения для считывания этой метрики. Однако достичь идеального освещения трудно, поэтому мы добавили на экран приложения индикатор качества освещения. При этом среди всех метрик, которые считываются приложением, данные о пульсе в наименьшей степени влияют на вердикт, так как хуже всего считываются. Остальные метрики – мимика и движение зрачков – тоже оцениваются приложением по-разному, так как одни важнее других.

• «Паттерны лжи» Пола Экмана и Алана Пиза. Почти все известные программы по распознаванию эмоций работают на основе исследований этих психологов. Они занимаются изучением мимики и движений тела, выдающих те или иные эмоции. Также по телу и мимике можно распознать и «лживость» человека. Мы решили написать паттерны по исследованиям психологов – выражаясь терминами мобильной разработки, натренировали приложение методом машинного обучения с учителем. Сбор данных о мимике решили производить с помощью технологии компьютерного зрения. Для этого научили приложение распознавать лицо и определять точки на лице, где хорошо видны движения мимических мышц. Затем полученные данные сравниваются с паттернами, и из сравнения делается вывод – насколько процентов полученные данные совпадают с «паттернами лжи». Однако выяснилось, что этих данных будет недостаточно, так как некоторые «мимические подсказки» типа шмыганья носом считывались некорректно, и в принципе подсказок о лжи именно по мимике у психологов оказалось не так уж много. При этом наше приложение предполагает распознавание именно лица человека.

• Обучение приложения на реальных людях. Для того чтобы вердикты были максимально обоснованными, мы решили обучить приложение вторым способом – с помощью тренировки на живых примерах лжи. Мы провели несколько разных тестов: приглашали людей и задавали вопросы, на которые люди то лгали, то говорили правду. Свои верные ответы люди записывали на листочках, при этом приложение не знало заранее, где правда, а где ложь. В итоге, алгоритм сам нашел новые паттерны и дополнил картину паттернов Алана Пиза и Пола Экмана.

Более подробный кейс у нас в блоге

3. Результаты сотрудничества

В итоге работа приложения выглядит так:

• С помощью компьютерного зрения приложение собирает данные о мимике, пульсе и движении зрачков говорящего на камеру человека.

• Далее обученный машинным способом алгоритм сравнивает полученные данные с паттернами двух типов: экспертные паттерны на основе исследований психологов, и паттерны, выявленные самим алгоритмом в ходе обучения на людях.

• В результате сравнения выводится вердикт в процентном соотношении.

Что еще можно делать с приложением Verity?

• Научиться лгать. Если отбросить рассуждения о морали, то в принципе в современном мире такой навык будет нелишним, например, для игры в мафию. В приложении можно легко перейти на фронтальную камеру и попробовать обмануть приложение.

• Научиться распознавать ложь самостоятельно. Не каждый человек согласиться на проверку приложением, а узнать, лжет он или нет, хочется. Для такой задачи мы добавили в приложение галерею с роликами, где пользователю предлагается по ходу видео ответить на тестовые вопросы – ложь это или правда, и по каким критериям сделан вывод.

• Обнародовать ложь или доказать правду. Скрин с вердиктом появляется на страничке соцсети в один клик.

Иван Чернышев

Руководитель проекта Verity, учредитель, PunicApp

Сегодня немного компаний на Российском рынке, которые достигли схожего прогресса в компьютерном зрении, машинном обучении и распознавании эмоций. На данный момент можно уверенно говорить, что детектор лжи Verity — это проект, которому нет аналогов в мире. Нас по-настоящему зацепило это направление разработки, и мы открыты для новых проектов. Ждем писем.