Lite att tänka på när man kikar på ratingsidor

Ratingsidor och -appar som Ratebeer.com och Untappd används flitigt av många öldrickare för att sätta betyg på ölen de druckit. Det skapar i sin tur möjligheter för diverse topplistor och annan jämförelse mellan olika öl baserat på vilka betyg de har fått. Trots en stor mängd data bör man ändå tänka till när man läser de samlade betygen och topplistorna. Låt mig (försöka) förklara varför.

Med tiotusentals användare som lägger in hundratals, tusentals och i vissa fall tiotusentals betyg kan man tänka sig att allt är statistiskt säkerställt men så är det inte riktigt. Betygen för öl som är svåra att få tag på och/eller kostar mycket pengar drabbas lätt av ett sorts selektionsbias, eftersom det framförallt kommer vara de som på förhand tror sig komma tycka om ölet som gör sig besväret att få tag på den. Snittbetyget blir då med stor sannolikhet högre än om en slumpmässigt utvald grupp skulle prova och betygsätta ölet.

Kikar man på Ratebeers lista över världens bästa öl är det många av ölen på listan där man kan anta att detta bias har haft en inverkan. Det är först på 11:e plats som det dyker upp en öl som har lite större spridning och även nedanför den finns en hel del öl som är svåra att finna. Något ironiskt råkar det vara Rochefort 10, som just har åkt ut standardsortimentet på Systembolaget för att den sålt för lite i jämförelse med andra öl i samma segment, men mer tankar om det en annan gång.

Olika personer kommer också ha olika uppfattningar om vad ett visst betyg innebär. På det stora hela gör det inte så mycket, men om något har betygsatts av en grupp som har en annan "kalibrering" än den stora massan kan det få tydliga utslag. Ponera att en ny ölpub öppnar i ett område där hantverksöl är en ny företeelse. Puben har ett bredare sortiment än som tidigare skådats i området men skulle kunna vara jämförbar med en hyfsad ölpub i exempelvis Stockholm. Lokalbefolkningen kommer troligen ge höga poäng för utbudet, eftersom det i jämförelse med vad som finns sedan tidigare är superbra. Skulle en öldrickare från Stockholm dyka in är det däremot inte säkert att denne skulle ge några höga betyg för utbudet eftersom denne är van vid något helt annat i utbudsväg. Därför kan globala jämförelser bli lite missledande. Däremot är de lokala topplistorna ofta bra verktyg för att hitta bra pubar och butiker i en viss stad eller område.

Personligen tycker också att man kan uppleva ett slags stilbias, alltså att vissa stilar har lättare att få höga poäng än andra. Det gör att det kan vara mer givande att se på hur en öl jämför sig med andra öl inom samma stil istället för med alla öl. Stilpercentilen (style score) är då ett användbart verktyg, men man ska komma ihåg att det är ett relativt mått. Enkelt förklarat anger det hur stor andel av ölen i samma stil som den är rankad högre än. Därför kan det vara lämpligt att kolla på tillsammans med det viktade medelbetyget. Ett exempel på när det kan bli något missvisande är om man kollar på stilen tjeckisk pilsner, där det finns 7 öl inom 100-percentilen. Från den högst rankade till den sjunde skiljer det sig i skrivande stund 0,31 poäng, på en skala som går från 0,5 till 5,0. En stor skillnad i betyg inom samma percentil alltså.

Till sist är det väl i sammanhanget ölstilar värt att nämna att det trots att Ratebeer har över 70 olika stilindelningar finns en hel del öl som inte riktigt stämmer in på någon stil. En del stilar är löst definierade och blir något av catch-all-stilar med stora interna skillnader. För dessa kan stilpercentilen bli svårare att använda på ett givande sätt. På tal om ölstilar är det värt att läsa Fabrikör Ekstedts betraktelser på ämnet.

Som ni ser får man sällan ut hela sanningen genom att bara kolla på en enda siffra eller placering.