Методика: специализированные рейтинги 2025

Основная задача специализированных рейтингов Руварда – выделить digital-агентства/продакшены с сильными компетенциями по тем или иным узким/специфическим digital-услугам.

1. Основа методики

В основе методики построения рейтингов по узким специализациям лежит мнение (голосование) профессионального агентского digital-сообщества России о распределении лидеров в тех или иных узких digital-сегментах.

Ключевые факторы, по которым оценивались участники:

• Качество оказываемых работ по услуге;
• Размер (выручка/штат агентства по конкретной услуге);
• Известность и уровень репутации на рынке.

2. Предварительная регистрация участников

В специализированные рейтинги попали только те компании, которые прошли этап предварительной регистрации в ЛК Руварда. Компаниям было предложено зарегистрироваться не более, чем в 10 рейтингах (из 46). Регистрация проходила в 4-м квартале 2024 года.

3. Голосование

Голосование проходило в ЛК Руварда в 4-м квартале 2024 года. Голосовать могли все агентства, зарегистрированные на Руварде вне зависимости от того, зарегистрировались они как участники рейтингов или нет.

По каждому рейтингу было сформировано несколько троек участников, в каждой из которых голосующему предлагалось выбрать победителя. Тройки генерировали случайным образом из числа прошедших регистрацию в рейтинге компаний. Количество троек, выданное голосующему на оценку в каждом рейтинге варьировалось от 1 до 5 (в зависимости от количества компаний, зарегистрировавшихся в том или ином рейтинге).

* Подобный механизм случайных выборок для голосования был разработан для снижения фактора накрутки. В случае договоренности двух участников проголосовать друг за друга (вне зависимости от их положения на рынке) – подобная механика делала маловероятным факт, что при голосовании обе компании попадутся друг другу в случайных выборках.

Фактор, по которому голосующему предлагалось выбрать победителя в каждой тройке рейтинга, формулировался так: «Комплексный (интегральный) показатель, который учитывает размер (выручку/штат агентства по конкретной услуге), качество оказываемых работ по услуге, известность/репутацию агентства».

4. Исключение случайных (рандомных) голосов

К сожалению, некоторое небольшое количество участников на этапе голосования выбирали победителей в тройках случайным образом. Для того, чтобы снизить влияние этого фактора – из расчета промежуточного и финального рейтинга были исключены компании, которые проголосовали за 5/5, 4/5, 4/4 троек одинаково (выбрав одинаковую порядковую позицию в каждой тройке). Вероятность того, что таким образом были исключены голоса компаний, которые голосовали вдумчиво – крайне мала. Это правило применялось только для рейтингов, в которых было 5 или 4 троек в голосовании (на меньшем количестве троек правило не применялось).

5. Формирование промежуточного рейтинга (ПР)

Для расчета баллов (после исключения рандомных голосов) сначала был сформирован промежуточный рейтинг ПР (выводится под катом на странице чарта после основной таблицы).

Балл в промежуточном рейтинге считался по следующей формуле: количество побед в тройках / общее количество троек, в которых компания была оценена.

6. Расчет баллов финального рейтинга

Промежуточный рейтинг использовался как основа для расчета финального. Случайные выборки троек участников помогают решить проблему накруток, но конкретный набор компаний в тройке может быть как сильным, так и слабым, поэтому результат в каждой тройке должен быть рассчитан с учетом силы состава этой тройки.

* Принцип, который мы применили, в некоторой степени похож на концепцию «формулы Эло».

Расчет балла для финального рейтинга производился по каждой тройке, в которой участвовала компания и было проведено голосование:

Здесь и далее «ПР» – промежуточный рейтинг.

В каждой выигранной тройке:

• Компания выиграла у двух более слабых (по ПР) соперников: сумма баллов по ПР всех участников тройки;
• Компания выиграла у одного более сильного и одного более слабого (по ПР) соперника: (балл сильного по ПР)x2 + баллы двух остальных участников по ПР;
• Компания выиграла у двух более сильных (по ПР) соперников: (сумма баллов соперников по ПР)x2 + свой балл по ПР.

В каждой проигранной тройке:

• В случае проигрыша более слабому (по ПР) сопернику: ((балл выигравшего по ПР)x2 + свой балл по ПР) / 2;
• В случае проигрыша более сильного (по ПР) сопернику: ((балл выигравшего по ПР)/2 + свой балл) / 2.

* В случае равенства баллов по ПР с соперником в тройке: соперник считается более слабым.

Далее все баллы по всем выигранным тройкам суммировались – и из этой суммы вычиталась сумма баллов по всем проигранным тройкам. Потом это число делилось (для нормирования) на общее число троек, в которых компания была участником. Таким образом получался общий балл, но основании которого был построен финальный рейтинг (после применения дополнительных коэффициентов, в случае их наличия).

7. Дополнительные коэффициенты

• Если компания входила в топ-5 аналогичного (при наличии аналога) рейтинга за 2021 год : +30% к баллу;
• Если компания входила в аналогичный (при наличии аналога) рейтинг за 2021 год вне топ-5: +10% баллу;
• Если компания проголосовала не по всем обязательным для нее рейтингам (в которых она прошла регистрацию на участие): штраф -10% к баллу (не применяется к исключенным рандомным голосованиям).

8. Обрезка чарта

Итоговое количество участников рейтинга (опубликованных на сайте) определяется по следующим правилам: в чарте выводится 1/2 от числа зарегистрированных участников (с округлением вверх в случае нечетного количества). Если зарегистрировалось более 200 компаний – публикуется Топ-100. Если в списке оказались компании с баллом 0 и ниже – они исключаются из списка (а список сокращается на соответствующие количество компаний).

* В промежуточных рейтингах опубликованы данные по всем участникам, прошедшим регистрацию в рейтинге – без обрезки.

9. Некоторые особенности методики

• Методика полностью прозрачна, при нажатии на балл агентства в основной таблице, а также таблице промежуточного рейтинга – откроется статистика по голосованию и расчету балла;
• В силу специфики методики, при прочих равных, преимущество в чартах получили агентства, активно занимающееся развитием соответствующей ниши (в том числе за счет образовательных и PR-активностей) и имеющие на ней высокий экспертный вес;
• В силу специфики методики, при прочих равных, преимущество в специализированных чартах получили агентства, обладающие положительной и устойчивой репутацией в российском профессиональном digital-сообществе;

10. Корректировки и исправление неточностей

В случае обнаружения каких-либо неточностей или ошибок в специализированных рейтингах – напишите нам на info@ruward.ru.

RUWARD оставляет за собой право, в случае обнаружения каких-либо неточностей, провести один комплексный апдейт/перерасчет рейтингов в третьем квартале 2025 (на основе проведенного анализа и обратной связи от агентств).