[PUBG] Skill based rating - report z testování

S pomocí celé PUBG komunity probíhalo převážně během prosince testování nového rating systému v rámci PUBG Labs. Tento rating systém by měl sloužit ke spravedlivému a férovému oceňování hráčů na základě jejich výsledků z právě proběhlé hry. Započítávalo se konečné umístění hráče, počet zabití a také informace o tom, zda-li byl vámi zneškodněný hráč začátečník nebo pokročilý (podle jeho osobního ratingu). Na tomto systému údajně pracují lidé, kteří pracovali i na rating systému ze známých her jako je např. League of Legends. Nyní nám PUBG poskytuje jak statistické informace o proběhlém testu, tak i plány do budoucna.

Někteří byli zvědaví, proč bylo k testování použito právě prostředí PUBG Labs. PUBG k tomu uvádí tyto důvody:

1. Bylo zapotřebí, aby se testování zúčastnilo co nejvíce lidí, a aby tak poskytli širokou testovací sadu. Systém ratingu nemůže být stavěn v izolaci. Stejně jako budování systému zbraní, známého jako Weapon Mastery, bylo provedeno "tmavé spuštění" pro nasbírání dat. Dá se tedy říci, že všichni hráči byli zpočátku testováni, aniž by o tom věděli. Tato data pak posloužila k lazení algoritmu udělování ratingu a vytvořila pevný základ pro start stavění systému. Ani tyto výsledky ale nebyly úplně objektivní, protože tajné hodnocení hráčů nemůže změřit to, jak se budou hráči chovat ve hře, když vědí o ratingu a o tom, že právě aktuální hra je hodnocená. Proto bylo přistoupeno k reálným hrám, reálným hráčům a situacím po delší dobu. Data byla sesbírána a byly učiněny další kroky pro stavění systému.
2. Bylo zapotřebí zpětné vazby o tom, jak tento systém hráčům sedí. Čísla a designové návrhy jsou určitě užitečné a směrodatné, ale vždy je důležité hlavně to, jak sedí nový systém hráčům. Proto se PUBG snažilo o otevřenost komunitě a zpětné vazbě od ní tak, jak to doposud nebylo možné. Také proto bylo do PUBG Labs implementováno několik možností, jak předat váš názor a pocity přímo PUBG za běhu vývoje.
3. Bylo zapotřebí zapojit komunitu do konverzace. V PUBG vědí, že hodnocení na základě umění jedince je důležité a berou jej vážně. Vědí, že takový systém nemůže být vybudován v tajnosti a bez aktuálních názorů komunity. Spuštění ratingu v Labs začalo diskuze o tomto tématu a v průběhu testování poskytovali hráči spoustu zajímavých nápadů na vylepšení. Pár nadšenců dokonce zaslalo jejich vlastní koncepty na celý rating systém. Všechny komentáře a nápady byly týmem zaznamenány a bude se pokračovat ve vývoji systému, se kterým bude moci být každý spokojený.

Přehled testování

Tzv. skill based rating byl v PUBG oficiálně spuštěn na konci listopadu a běžel po dobu šesti týdnů. Během této doby bylo na základě pozorování provedeno několik úprav algoritmu.

Při této první byl například navýšen maximální počet bodů o 50% a bylo upraveno rozprostření bodů mezi více umístění. Díky infrastruktuře vybudování systému bylo možno upravovat jej za běhu, tedy bez jakéhokoliv restartu serverů nebo údržby. Tento přístup vysoce zvýšil tempo, kterým mohlo být přistupováno ke změnám. Na jednu takovou změnu se můžete podívat v klipu ze streamu od WackyJacky101, kdy byl během hry změněn maximální možný počet bodů za umístění.

Po shromáždění dat z dotazníků a průzkumů, analyzování aktuálních dat a sesbírání zpětné vazby z mnoha různých zdrojů bylo učiněno rozhodnutí spustit druhý test v únoru, který se zaměřuje na některé problémy s algoritmem v prvním testu ratingu.

Pozorování

Následně je třeba sdílet pár zajímavých statistických dat a zpětné vazby, která byla sesbírána během testování a zaměřit se na plány do budoucna, tedy druhý test.

• 18,8% hráčů si zahrálo kompetitivně, byl jim tedy udělen rating 
• 22,3% hráčů na konzolích se připojilo ke kompetitivním umístěním hráčů PUBG

 Zúčastněnost podle regionů

Region	PC [%]	Konzole [%]
Asie	19,7	23,4
EMEA	15,2	23,5
JP	20,9	28,6
KR	18,5	32,8
NA	15,3	21,5

Procenta jsou vypočítána z hráčů, kteří byli součástí normálních her (tedy mimo PUBG Labs). Proto měli hráči možnost si vybrat, jestli se testu rating systému účastní nebo ne. V rámci ujasnění kontextu, v PUBG by údajně nebyli překvapeni, kdyby viděli čísla pod 10% nebo i méně, tato čísla jsou pro PUBG překvapující a ukazují, jak vášniví jsou hráči co se týče tohoto nového systému, který měří vaše herní umění (ne všichni po tom totiž touží).

Rozdělení ratingů

PC (TPP týmy)

Úroveň	Rozdělení [%]
Bronze	2,85
Silver	37,47
Gold	30,16
Platinum	24,15
Diamond	5,24
Master	1,05

Tabulka výše reprezentuje aktuální stav klíčové metriky, na kterou je dán důraz při lazení algoritmu systému ratingu. Je několik způsobů, jak může být na hodnocení nahlíženo, ale pro jednoduchost bude použita tato tabulka z týmového TPP módu hráčů, kteří odehráli alespoň 50 rating týmových her. Při pohledu na tabulku je zřejmé, že je pár věcí, které by si zasloužily úpravu. Jednou z nich je například nízký počet hráčů s úrovní Bronze a naopak příliš vysoký počet hráčů s úrovní Master. Diamond hráčů je také o něco méně, než by být mělo. Budou provedeny změny pro zarovnání rozdílů obtížností získání úrovní a také bude každá úroveň posunuta tak, aby byla o něco více obtížnější k získání.

Zpětná vazba

Před závěrem chce PUBG také adresovat pár častých komentářů od komunity, které byly získány během testu.

"Poškození by mělo hrát roli při výpočtu rating bodů. Není v pořádku hrát v módu týmu a soutěžit se svými spoluhráči o RP (rating points)."

Tato připomínka byla jednou z prvních obdržených, když byl systém spuštěn a zároveň jedna z prvních úprav, které bylo třeba provést. Zpočátku se to zdálo jako dobrý nápad a bylo zamýšleno přidat poškození k výpočtům, ale po dlouhém uvažování by tato změna spíše uškodila než pomohla k lepšímu zážitku ze hry. V tomto scénáři totiž bylo příliš mnoho hraničních případů a možností, jak tohoto zneužívat. 

Problém týmového ducha ale stále musí být vyřešen, i přesto, že přidání poškození do výpočtů není dobrým řešením. Zatím se spekuluje o přidání asistencí. Asistence znamená, že hráč, který udělil druhému hráči značné poškození během určitého času, po kterém je nepřítel zpět v lobby, obdrží asistenci a algoritmus tak přidá stejný počet bodů, jako za plnohodnotné zabití. Nevznikaly by tak spory v týmech o to, kdo zasadí nepříteli poslední ránu.

"Získávání RP je příliš jednoduché v porovnání s jejich ztrácením jako postupový systém. Hráči s úrovní Master budou šplhat po žebříčku navždy." 

Poslední věcí, kterou by si v PUBG přáli je, aby systém, který měří umění hráče přežít, byl něco jako postupový systém - tzn. play to win (čím více, hrajete, tím větší máte rank). Můžete tak být ujištěni, že hlavním cílem je poskytnout co nejlepší zážitek pro hráče skrz systém, který bude reálně měřit umění, ne čas hraní.

V druhém testu je možné očekávat posunutí všech úrovní tak, aby byly hůře získatelné. Hráči s vyšší úrovní budou také pociťovat těžší získávání RP - s úrovněmi se bude za každou hru více snižovat počet v porovnání s nížšími úrovněmi. Hráči s úrovní Master nebudou moci neustále získávat body z důvodu zavedení dvou limitů - první limit zvyšuje obtížnost za každých 100 RP získaných nad celkovými 3500 RP a druhý limit, který bude konečným na 5000 RP.

Závěr

Rating systém je stále ve vývoji, ale PUBG tým společně s celou komunitou se bude snažit udržet správný směr. Jsou si vědomi, že se jedná o systém, který vyžaduje neustálou interakci mezi vývojáři a komunitou tak, aby ve výsledku byli všichni spokojeni. Zůstaňte proto naladěni na druhou část testu, ke které budou dále zveřejněny informace.