Motion om förändringar av ratingsystemet

[Johan Rönnblom]

Hej!

Här kommer ett väldigt långt svar. Erfarenhetsmässigt vet jag att så här
långa svar riskerar att döda diskussioner. Men jag måste ändå svara Gustaf,
så jag hoppas att det ändå är fler som har åsikter i frågan.


Gunilla Jarfelt skrev:
> Jag tycker att det blir knöligt med rejtingttal på 10000, 
> och förslår i stället att vi bestämmer oss för att detaljera dagens
rejting 
> med att använda en decimal.
>
> För mig känns det inte lika klumpigt med 1005,7 som 10057.

Det tycker egentligen jag med, men andra tyckte tvärtom, och jag bryr mig
inte så mycket om den saken.. men det vore väl bra om fler tyckte till.

Gustaf Bergström wrote:
> Jag skulle vilja ha ett förtydligande från Johan. Vill du att förändringen
> av ratingsystemet ska genomföras retroaktivt?

Ja, det bör den göra. Detta dels för att det är "snyggare" så tycker jag,
men det är också så att det blir lite lägre ratingförändringstal med det
nya systemet, och det skulle gynna spelare som ligger högt just när
ratingförändringen sker på ett otillbörligt vis.

> Ditt "Förslag 3" låter ju intressant, men nackdelen är kanske att de som
> inte har läst en massa matte inte längre kommer att begripa hur ratingen
> räknas ut.

Det vet jag väl inte? Den räknas ju ut på exakt samma sätt som innan,
förutsatt att man känner till de förändringar som sker. Låt gå för att det
inte är lika lätt att räkna ut dessa förändringar alldeles själv, men att
kontrollräkna är precis lika enkelt (eller svårt) som tidigare. Jag kan
inte se någon poäng i att försöka göra den första beräkningen själv, det är
ju mycket lättare att låta systemet göra det. Finns det något intresse av
att räkna själv bör det väl vara just att kontrollräkna att systemet
verkligen gör det som det ska göra.

> Även för mig som har en och annan högskolepoäng i matte är det
> omöjligt att försöka tänka ut vilket utslag ett sånt system skulle kunna
> få i ratingtabellen. Jag skulle därför vilja se ett par räkneexempel,
> gärna med siffror hämtade från riktiga turneringar, där du visar hur
> ratingförändringarna hade blivit om ditt "Förslag 3" hade tilläpats.

Jag ska göra det. Men jag vet inte om det säger så mycket, man kan aldrig
utforma ett system efter omdömen som "nu gick Markus ned fem poäng, men jag
tycker det verkar bättre att han skulle gå ner sju poäng".

Först dock lite teoretiska funderingar kring ratingen (detta gäller såväl
nuvarande som det nya förslaget, eftersom det i grunden är samma system).
De som inte är intresserade kan skippa denna bit.

-----BÖRJAN PÅ TEORETISKA FUNDERINGAR-----
Tanken med det ratingsystem vi har är att ge ett värde på hur bra en viss
spelare är vid ett visst tillfälle. Man kan tänka sig att vår rating är en
approximation av en ideal rating. Det är i så fall den rating som en
spelare skulle få om han eller hon kunde spela oändligt många matcher i
varje ögonblick. Inte ens den ideala ratingen säger vem av två spelare som
kommer att vinna en match, dock, eftersom Scrabble är ett turspel. Den
ideala ratingen säger dock hur stor procent av det oändliga antalet matcher
som en viss spelare vinner mot en annan spelare.

I verkligheten kan och vill vi inte spela oändligt många matcher, inte ens
på DBS-tävlingar. Därför är ratingen alltså en approximation. En fråga om
denna approximation är förstås *när* approximationen ska anses göras. Den
kan ju inte göras i något enskilt ögonblick, eftersom det tar tid att spela
Scrabble. Man kunde dock tänka sig att approximationen görs under en
tidsrymd av en enskild match. Då skulle ratingen alltså förändras efter
varje match, och inte efter varje turnering som är fallet nu. Men frågan är
om det vore bra - en spelare som först förlorar tre matcher och sedan
vinner fyra har förmodligen inte blivit väldigt mycket bättre (även om
sådant som morgontrötthet kan spela in). Troligare är att spelaren hade
missflyt i början av dagen. Att ändra ratingen efter varje match skulle
förmodligen inte vara helt rättvisande, den som fick stryk i fjärde matchen
i exemplet ovan skulle drabbas orättvist hårt av att motståndaren gått ner
efter tre raka förluster.

Så i det nuvarande systemet approximeras i stället ratingen under en
tidsrymd av en hel turnering. Det är något som jag vill behålla, eftersom
jag tycker att det är vettigt. En turnering är någorlunda väl samlad i
tiden, men innehåller så pass många matcher att turen jämnar ut sig
någorlunda väl.

När man räknar ut en ny rating baserar det sig på att man först beräknar hur
många matcher en spelare rent statistiskt borde vunnit, och därefter jämför
man detta med hur många matcher spelaren faktiskt vunnit. Skillnaden
multipliceras med en faktor tio, och så får spelaren sänkt eller höjd
rating. Så vitt jag vet har faktorn tio ingen egentlig teoretisk bas, utan
är vald för att få "lagom svängiga förändringar". Om jag har fel hoppas jag
att någon rättar mig. Det bör gå att räkna ut en "teoretiskt bra" sådan
konstant om man ställer upp vissa önskemål om förändringstid vid en stegvis
förändring eller maximalt fel för olika förändringsfrekvensområden eller
andra inte helt lättgenomträngliga kriterier, men tio är å andra sidan ett
runt och fint tal och jag betvivlar att man kunde välja det så fasligt
mycket bättre.

Det som däremot har en teoretisk bas är själva jämförelsen mellan hur många
matcher man "borde vunnit" och hur många man vann. Där är det något
märkligt idag: Uppskattningen av hur många man "borde vunnit" görs ju med
ledning av ratingen för förra turneringen. Dvs, den är egentligen en
uppskattning av hur många matcher man borde vunnit, förutsatt att man är
lika bra som man var i förra turneringen. Men det är man ju inte - det är
ju därför ratingen förändras. Därför anser jag att det helt enkelt är ett
bättre sätt att räkna att utgå från den rating som faktiskt försöker
approximera hur bra en spelare är i just den aktuella turneringen.

Nåja - detta teoretiska resonemang är förmodligen betydligt krångligare och
hårigare än mitt förra konstaterande att "ju fler matcher ratingen grundar
sig i, desto mer rättvisande är den" vilket väl är ganska lättbegripligt
hoppas jag.
-----SLUT PÅ TEORETISKA FUNDERINGAR-----

Tillbaka till siffrorna. Jag har räknat ut ratingen för de tre senaste
turneringarna med det nuvarande, och med det föreslagna systemet (endast
förändring 3 här, för att det ska bli mer jämförbart). Att göra funktionen
för den nya ratingen är egentligen väldigt enkelt, om man har funktionen
för den gamla ratingen. Därför gjorde jag en sådan funktion, så att jag
kunde kontrollera den. Då är risken minimal för att jag lyckats göra fel
med den nya, eftersom den helt bygger på den gamla. En liten skillnad är
dock värd att beakta: I det gamla systemet gick det bra att använda
tabellvärden på sannolikhetsfördelningsfunktionen fi(z). Dessutom var den
avrundad till fyra decimaler. Detta är inte lyckat i det nya systemet,
eftersom det bygger på att man kontinuerligt ska kunna få mindre och mindre
förändringar tills man når stabila värden. Med hackiga tabellvärden kan man
inte lita på att detta fungerar. Det behövs alltså en (mer) kontinuerlig
fi(z). Detta är dock inget problem att ordna.

Så, här är alltså de tre senaste turneringarna. Jag börjar bakifrån,
eftersom Örebro Open förmodligen är mest intressant, flest deltagare och
störst spridning på deltagarnas rating, samt ett antal personer med mycket
kraftiga ratingförändringar.
Örebro Open:
Namn               V R-in  F  F-ny
Andreas Carlsson   7  998  41  33
Håkan Andersson    7 1092   8   8
Niklas Elmefjäll   6 1135  -8  -6
Fredrik Viberg     5 1000  17  15
Lisa Blohm         5 1076  -3  -2
Stefan Furth       5  996  19  16
Victoria Gejrot    5 1059   4   3
Patrik Grönvall    5 1030   5   4
David Brandell     5 1033   6   5
Claes Gejrot       5 1027   7   6
Björn Ericson      4 1054  -9  -7
Henrik Holmström   4 1038  -7  -7
Joel Bäckelie      4 1011   4   4
Ida Nord           4 1005   1   1
Elisabet Claezon   4  962  17  12
Anders Brandén     4 1000   2   0
Claes von Hofsten  3  995  -7  -4
Elisabet Bruzelius 3  970   5   3
Pyret Karlbom      3 1000 -12  -8
Pär Båge           3  979  -4  -5
Jannike Molander   3  969   4   1
Pia Mattsson       3 1008  -8  -7
Tine Norling       3  982   1  -1
Jenny Ringqvist    2 1000 -24 -18
Daniel Strindberg  2  992 -18 -14
Frida Wessman      0 1000 -42 -32

Det första man lägger märke till är kanske att förändringarna över lag är
något mindre. Andreas får inte längre 41 utan "bara" 33. Detta är dock
ganska ointressant eftersom det gäller alla spelare, +33 med detta system
är förmodligen ungefär lika bra som +41 i det tidigare. Det beror förstås
på att en ratingökning blir självhämmande - ökar ratingen så borde man ha
vunnit fler matcher än vad den gamla ratingen visade, alltså ökar ratingen
inte lika mycket. Vi ser ju att nästan alla förändringar är mindre.

Mer intressant är det då att se på Håkan A. Han får 8 poäng i det nya
systemet, precis som i det gamla. Varför då? Jo, vi kan se att alla hans
motståndare utom Lisa B (dvs 7 av 8) gått upp i rating under turneringen.
Han har alltså mött svårare motstånd än vad deras rating, som ju härrör
från förra turneringen, har visat.

Göteborg Open:
Johan Rönnblom   6 1083  15  12
Björn Ericson    5 1045  14  12
Stefan Diös      5 1100  -5  -3
Niklas Elmefjäll 5 1127 -10  -8
Joel Bäckelie    4 1015  10   8
Anders Grönlund  4  988  15  11
Johanna Oscarson 4 1002  12  10
Jannike Molander 3  973  13  11
Patrik Grönvall  3 1035 -10  -8
Gunilla Jarfelt  3  964   5   3
Jan Hvarfvenius  3  992  -4  -4
Erik Granberg    2 1000 -10  -8
Pia Mattsson     2 1000 -12 -10
Johan Granberg   0 1000 -33 -26

Inte mycket intressant att kommentera.

Konsonantcupen, Malmö:
Ola Torstensson      5  990  22  18
Christoffer Jakobsen 5 1000  19  16
Daniel Skoglösa      4 1000  10   8
Annika Lövström      2 1000  -6  -4
Louise Gripenhov     2 1000  -5  -4
Ronnie Löfström      2  993  -4  -3
Helena Ramsing       2 1000  -5  -5
Kristina Cronqvist   1 1000 -15 -12
Kicki Stridh         1 1000 -16 -13

Lika lite intressant att kommentera, precis som väntat eftersom detta var en
turnering där alla hade nästan samma rating.

Ett par ord dock om att förändringarna blir mindre: Detta ska *inte* tolkas
som att det blir svårare att ta sig ikapp toppen. Det är ju lika för alla.
Däremot ökar denna förändring på behovet av att glesa ut ratingen lite (med
en konstant eller en decimal), eftersom den annars blir ännu något tätare.

-- 
  /Johan Rönnblom