Мы назвали шесть бойцов, чьим цифрам нельзя верить. Через десять дней они сдвинулись в восемь раз сильнее остальных
Первого ноября мы написали, что половине движения в нашем тир-листе грош цена, и назвали бойцов, чьи цифры ненадёжны. Это было проверяемое утверждение — и мы его проверили.
Первого ноября мы разобрали собственный тир-лист и сказали неприятную про себя вещь: примерно половину движения в нём создаёт не игра, а арифметика. Там же мы назвали по именам шестерых, чьи цифры скачут, и шестерых, чьим можно верить.
Это было обещание, которое легко проломить. Прошло десять дней, выборка выросла вдвое — самое время сверить.
Что мы обещали
Вот те двенадцать имён и то, что с ними случилось.
| Боец | Мы говорили | Было | Стало | Сдвиг |
|---|---|---|---|---|
| Мэг | скачет | 41,9% | 48,6% | +6,7 |
| Wendy | скачет | 52,4% | 55,9% | +3,5 |
| Берри | скачет | 50,1% | 53,1% | +3,0 |
| Роза | скачет | 48,0% | 46,2% | −1,8 |
| Бонни | скачет | 50,6% | 49,9% | −0,7 |
| Чарли | скачет | 52,6% | 52,7% | +0,1 |
| Фэнг | ровный | 50,2% | 49,5% | −0,7 |
| Колетт | ровная | 51,0% | 50,5% | −0,5 |
| Спайк | ровный | 48,9% | 49,2% | +0,3 |
| Динамайк | ровный | 47,2% | 47,4% | +0,2 |
| Тик | ровный | 48,4% | 48,6% | +0,2 |
| Джесси | ровная | 48,8% | 48,9% | +0,1 |
Разница вышла восьмикратной
Средний сдвиг по модулю: у названных скачущими — 2,63 пункта, у названных ровными — 0,33 пункта. Это разница в 7,9 раза.
Если выстроить всех 108 бойцов по тому, насколько сильно каждый двинулся за десять дней, картина ещё яснее. Мэг заняла первое место, Wendy третье, Берри четвёртое — это ровно те три имени, которые у нас стояли первыми в списке ненадёжных.
Названные ровными расположились на местах 44, 58, 76, 89, 97 и 105. Джесси — 105-я из 108, то есть почти самый неподвижный боец в игре.
Где мы промахнулись
Честно: из шести «скачущих» двое не двинулись вовсе. Чарли прибавил одну десятую — это 102-е место в списке движения, рядом с теми, кого мы объявили эталонно ровными. Бонни потеряла семь десятых, что в пределах её собственной погрешности.
То есть попадание не шесть из шести, а четыре. Предсказание сработало как направление, а не как приговор каждому имени.
И с другой стороны тоже не идеально: Фэнг и Колетт формально сдвинулись больше своей погрешности. Но сдвинулись на семь и пять десятых пункта — то есть ровно на столько, сколько мы сами советовали не замечать.
Заодно проверился главный вывод той статьи
Мы утверждали, что места с четвёртого по десятое — это не разные уровни силы, а один уровень, случайно разложенный по строкам. Тогда медианный разрыв между соседями в этой части десятки был 0,2 пункта.
Сейчас, на вдвое большей выборке, он 0,1 пункта. Вот нынешние разрывы, сверху вниз: 2,5 · 2,9 · 0,3 · 0,1 · 0,8 · 0,1 · 0,1 · 0,0 · 0,2.
Первые трое по-прежнему в отдельной лиге, а дальше — плотная куча, где между седьмым и восьмым местом ноль целых ноль десятых. Удвоение данных не разнесло их по уровням, а сжало ещё теснее. Значит, дело не в нехватке боёв: они действительно равны.
Кто действительно упал — и это не новичок
Самое крупное падение в игре — у Драко: минус 4,3 пункта, с 59,6% до 55,3%. Десять дней назад он был третьим в списке; сейчас четырнадцатый.
Мы ждали другого. Казалось логичным, что просядут свежие бойцы: их только-только разобрали, первые недели они выигрывают за счёт незнакомости, а потом рынок к ним привыкает. Cosmo и Vince действительно потеряли по два пункта — и именно это подталкивало к такому объяснению.
Но стоило посмотреть на остальных упавших, и версия рассыпалась.
| Боец | Номер в игре | Сдвиг |
|---|---|---|
| Драко | 80 | −4,3 |
| Джеки | 34 | −2,5 |
| Сэм | 60 | −2,0 |
| Cosmo | 109 | −2,0 |
| Фрэнк | 20 | −1,9 |
| Vince | 110 | −1,9 |
| Сэнди | 28 | −1,9 |
| Эль Примо | 10 | −1,8 |
Падать — не привилегия новичков. В одной компании с Cosmo и Vince сидят бойцы под номерами 10, 20, 28 и 34, то есть из самой старой части ростера. Сильнее Cosmo просели всего двое, сильнее Vince — четверо, но это говорит лишь о том, что падение на два пункта вообще редкость, а не о том, что новизна выдыхается.
А вот чего мы точно не ожидали
Мы посчитали связь между порядком выхода бойца и величиной его сдвига. Если бы новички выдыхались, связь была бы отрицательной и заметной.
Она равна −0,07. Это ноль.
Больше того, самая новая четверть списка оказалась самой устойчивой его частью.
| Четверть списка | Не двинулись | Сдвиг (медиана) |
|---|---|---|
| Самая старая | 17 из 27 | −0,30 |
| Вторая | 13 из 27 | −0,20 |
| Третья | 20 из 27 | −0,50 |
| Самая новая | 21 из 27 | −0,20 |
А связь между возрастом бойца и его силой, о которой мы писали отдельно, не ослабла, а чуть окрепла: было 0,70, стало 0,74. Самая старая четверть ростера как не поставляла в двадцатку сильнейших никого, так и не поставляет. Самая новая дала тринадцать из двадцати тогда и пятнадцать сейчас.
Сколько всего двигалось
Отдельная цифра, которая ставит всё на место. Мы сравнили каждого бойца с самим собой, делая поправку на размер его выборки: сдвиг считается настоящим, только если он больше, чем мог бы дать случай.
71 боец из 108 не двинулся вообще. Настоящих сдвигов 37, из них вверх 13 и вниз 24. Типичная погрешность такого сравнения — 0,92 пункта, то есть всё, что меньше пункта, читать бессмысленно.
Так выглядит игра, в которой за десять дней почти ничего не произошло, — и это нормальное её состояние, а не затишье.
Что из этого следует
Проверять свои прогнозы стоит вслух. Мы могли написать ту статью и не возвращаться к ней. Вернулись — и выяснили, что метод работает, но слабее, чем звучал: четыре имени из шести, а не шесть.
Если осваиваете бойца, берите из ровных. У Джесси цифра за десять дней изменилась на одну десятую. У Мэг — на шесть целых семь десятых. Обещание первой чего-то стоит, обещание второй — нет.
Не ищите в падении смысла, пока оно меньше двух пунктов. Почти весь список стоит на месте, и любая история про «его ослабили» требует сначала показать, что сдвиг вообще больше погрешности.
Чего эти цифры не говорят
Мы не следим за правками баланса. Поэтому не можем отличить «новички не выдыхаются» от «за эти десять дней никого не трогали». Утверждение у нас одно: в наблюдаемом окне связи между возрастом бойца и его сдвигом нет.
Мы не сравниваем между этими двумя срезами популярность. В первом на бой приходилось в среднем 3,8 учтённых бойца, во втором 3,0 — состав режимов в окне сдвинулся, и доли участия оказались бы несопоставимы. Винрейты от этого не страдают, они считаются внутри каждого среза отдельно.
Десять дней — короткий отрезок. Он годится, чтобы проверить разброс, и не годится, чтобы говорить о тенденции.
Как мы это считаем
Срез от 11 ноября: 1 853 327 боёв за трое суток, собранных из истории матчей живых игроков. Срез от 1 ноября, с которым сравниваем, — 855 971 бой. Выборка выросла вдвое, потому что мы подняли частоту опроса: раньше за проход обходили две тысячи игроков, теперь пять.
Погрешность каждого винрейта считали по размеру его собственной выборки, девяносто пять процентов. Сдвиг признавали настоящим, если он больше суммарной погрешности двух замеров. Медианная выборка на бойца сейчас — 35 тысяч боёв, самая маленькая — 6,1 тысячи.
Выживание в общий винрейт не входит: там победа засчитывается за попадание в четвёрку, шкала другая.
Свежая таблица — на странице меты.