Аналитический квест для конференции: не только озадачили участников, но и выбрали нового аналитика в компанию

1. Вводная задача от заказчика, проблематика, цели

CRM-group уже третий год подряд организует конференцию «Маркетинг и кутёж». Официальная часть мероприятия — доклады экспертов в CRM-маркетинге, а перед вечерней кутёжной программой занимали участников в различных околомаркетинговых конкурсах, викторинах, обсуждениях.

Команда аналитики подготовила свою активность. Так как времени отвели всего 30 минут, задание должны быть не очень сложным. Придумали «Аналитический квест».

Подготовили датасет на обезличенных клиентских данных из области ретейла, с информацией о продажах за два неполных года и дополнительными метриками: продажи, сессии, показы рекламы, отправленные коммуникации и так далее. Добавили информацию за ещё один предыдущий год — для определения сезонности. И количество покупок — для определения динамики среднего чека и изменения после этого покупательского поведения.

2. Описание реализации кейса и творческого пути по поиску оптимального решения

Предложили участникам конференции решить аналитическую задачу

В данных было несколько периодов, где продажи заметно упали. Участникам предлагалось выявить эти периоды, проанализировать метрики и выдвинуть гипотезы о причинах падения.

Предполагалось, что в датасете заложено три основные гипотезы и две неочевидные дополнительные.

В квесте участвовали три команды, которые за отведённые полчаса нашли все базовые гипотезы.Переработали квест в тестовое задание для кандидатов в отдел аналитики

Конференция закончилась, конкурсные материалы ушли в архив, но, как оказалось, ненадолго.

Уже осенью мы открыли вакансию аналитика, для которой не стали создавать новое тестовое, а использовали задание квеста.

Проверять у кандидата технические скилы, вроде знания SQL и Phyton, мы не стали — их сейчас знают даже школьники, и при желании всё можно нагуглить. А вот аналитические навыки не нагуглишь.

Плюс мы активно используем в работе Power BI, поэтому кандидат должен был уметь проектировать дашборды и правильно визуализировать данные.

Подготовили тестовое задание из двух частей. Проверяли:

В первой части — аналитические способности с помощью задания из квеста: представить гипотезы о причинах падения продаж.

Во второй — умение визуализировать данные в дашборде. Взяли рабочий дашборд, обезличили его и видоизменили вопреки всем правилам построения дашбордов. Попросили кандидатов найти ошибки и дать рекомендации по улучшению дашборда.

Провели качественный отбор кандидатов

Такое нестандартное тестовое задание помогло выявить критические для аналитиков ошибки.

Невнимательно читать ТЗ. Мы просили прислать результат в гуглодоке, но получали pdf-, html-, git-файлы и прочие форматы.

Видеть только очевидное. В задании мы просили выявить периоды падения продаж и выдвинуть гипотезы о причинах. Нигде не было указано, что только за 2023 год. 90% кандидатов ограничивались почему-то анализом этого периода (самое очевидное падение) полностью игнорируя остальные периоды.

3. Усложнять. Около 80% кандидатов использовали для обработки датасета скрипты на Python, строили матрицы корреляций, регрессии и так далее. Напомним, во время квеста менеджерам отводилось всего 30 минут, а выполнить задание они должны были на листке бумаги. От кандидатов же мы получали лонгриды скриптов, горы графиков и, увы, поверхностные выводы — к сожалению, неверные.

Умение формировать отчёты, делать корректные выводы и оформить результат — одни из важнейших навыков аналитика. Когда топ-менеджер просит выявить причины падения продаж, он не будет самостоятельно выискивать ответ в скриптах и графиках — ему нужны понятные лаконичные выводы.

Вторая часть задания — найти ошибки в дашборде — оказалась чуть проще. Результат зависел от опыта и насмотренности кандидата. 50% участников не справились.

Хочется отметить, что большинство кандидатов пришло после многочисленных технических курсов, где обучают пользоваться инструментами (SQL, Python и т. п.), но никак не развивают аналитические навыки, в чём зачастую помочь может только опыт.

3. Результаты сотрудничества

Получили обратную связь от участников и выбрали нового сотрудника

Некоторые кандидаты на собеседованиях благодарили за нетипичное тестовое задание, а именно: за аналитические задачи. Задание получилось оригинальным и — что важно! — правильное решение нельзя было нагуглить!

Профит

— 78 кандидатов запросили тестовое;

— 90% участников ограничивались анализом самого очевидного падения;

— 50% совершили грубые ошибки во второй части;

— 1 человек справился и был принят на работу.

Этот опыт помогает нам смотреть глубже стандартных навыков специалиста при найме — и не только аналитиков. Ведь на проектах наших клиентов часто приходится идти шире поставленной задачи и находить неочевидные проблемы и решения.