syndereN: Десять игр в калибровке — очень маленький объем выборки

Датский ветеран профессиональной Доты Троельс 'syndereN' Нильсен поделился своими мыслями о новой системе калибровки MMR, которая учитывает только поражения и победы игрока. По словам syndereN, на бумаге система выглядит идеально, однако множество нюансов не позволяют ей быть таковой на самом деле.

Следующие мысли основаны на идее, что калибровка основана на итоговом MMR предыдущего сезона. Если же калибровка, как утверждают некоторые, основана на рейтинге, который вы получили семь месяцев назад, то сам процесс для меня не имеет никого смысла вообще.

Насколько я понимаю, калибровочная система предполагает определенный рейтинговый разброс между игроками с самого начала: последующий рейтинг игрока будет двигаться в направлении, которое зависит от ваших побед или поражений. Если вы много выигрываете, то ваши игры становятся все более тяжелыми, если проигрываете — более легкими. Подобная система на бумаге выглядит идеальной, однако некоторые ее детали не позволяют ей быть таковой.

Десять игр — очень маленький объем выборки. Допустим, игроки А и B начали калибровку с одинаковом MMR — 6000. Игрок A прошел ее со счетом 2-8, а B — 8-2. Получается, второй игрок настолько сильнее первого? У B могли быть игры, где противники покинули матч или где оппоненты выбрали хуже героев, чем его команда. Такой расклад не выглядит неправдоподобным, и за десять игр подобные вещи могли произойти, даже несмотря на тот факт, что матчи для игрока B становились все сложнее по сравнению с матчами для игрока А. То есть все, что могло быть причиной этих побед, — это лив людей по каким-то причинам, отличный ласт пик, который мог в соло выиграть игру (это даже мог быть не игрок B, а его тиммейт, а B вообще мог быть не так уж и полезен в том матче, но все равно выиграл его) или тотальный аутдрафт, что происходит постоянно в играх на всех брекетах.

Также следует помнить, что множество игроков калибруются одновременно, поэтому разброс среди тиммейтов может быть очень высоким. Игрок B, несмотря на свой победный стрик, все равно мог получать в команду более сильных игроков, которые просто неудачно начали калибровку (допустим, провалили по каким-то причинам первые игры и идут 1-4). В Dota 2 слишком много переменных, чтобы даже приблизительно точно откалибровать людей на основе десяти игр. Такое маленькое количество матчей, возможно, позволяет отобразить точный результат в single-player играх, ведь этих самых переменных, которые следует учитывать в калибровочном процессе, там намного меньше.

Основываясь на информации, предоставленной из различных источников, можно сказать, что итоговый MMR игрока А составит около 5200, игрок B может закончить калибровку где-то на уровне 6800 (эти показатели могут уйти в еще большую крайность, что зависит от побед и поражений в играх, в которых ваша команда находится изначально в статусе фаворита и игр, где вы по начальным условиям в проигрышном положении). Получается, три игры, которые B выиграл, а A проиграл, сделали разницу между игроками равной 1600 MMR или 64 победным играм подряд.

«Да кому какая разницы, люди все равно вернут тот MMR, который заслуживают». Да, так и есть. Проблема в том, что на самом высоком брекете (да и на любом брекете, я полагаю) качество игр упадет до кардинально низкого уровня для ВСЕХ, включая и A и B, если, конечно, с системой что-то не поменяется в ближайшие недели. Так выйдет из-за того, что некоторые игроки откалибруются слишком плохо, а другие — слишком хорошо. Таким образом, постепенно и будет происходить «возвращение на их адекватный рейтинг». Это займет какое-то время, игры станут куда хуже и менее сбалансированными, а потому, сам матч будет приносить меньше удовольствия. Так, что же делать?

Возможно, что-то из этих двух вещей могло бы исправить ситуацию:

Первое: Откатить всю калибровку и провести ее снова. Увеличить объем выборки, что позволит уменьшить влияние сторонних факторов на калибровочный процесс. Возможно, игрокам стоит играть 25 матчей? Возможно, большее число игр увеличит надежность результатов. Винрейт 15-10 (60%) выглядит более надежным результатом, чем 6-4 (60%), что должно отражаться и в итоговой награде (например, в тройном приросте от стандартной награды в победном матче — 3*25 MMR*5 игр = 375 MMR)

Второе: Изменить прирост/падение MMR, которые происходят сейчас. Не при каких обстоятельствах игроки А и B не должны заканчивать с разницей в 1600 рейтинга после сыгранных 10 матчей. Разброс должен уменьшиться вдвое или даже больше, чтобы при вышеуказанных условиях A заканчивал на уровне около 5700 MMR, а B — 6300, то есть разница составляет уже 24 победные игры. Это все равно позволит значительно изменить MMR в определенном направлении и при этом сам процесс будет иметь больше смысла по сравнению с калибровкой перед первым сезоном, когда каждая игра, кажется, просто добавляла или убавляла 25 рейтинга.

Второй рейтинговый сезон стартовал 6 июня. Он привнес несколько изменений в рейтинговый матчмейкинг, в частности, появился новый ранг, убрана нулевая звезда у каждой медали, а также поменялась калибровочная система.