Her skal jeg vurdere det mye omtalte møtenotatet hvor IFAB (the International Football Association Board) presenterer resultater fra prøveprosjektet om VAR og som de fleste VAR-entusiaster klamrer seg til når de forsvarer VAR.
Notatet blir gjerne trukket frem som et kronargument når VAR diskuteres og mitt inntrykk er at det er dette notatet som fremheves som det vitenskapelige grunnlaget til VAR.
Kjærligheten til tall
Først litt om bakgrunnen for prøveprosjektet (en lettfattelig oversikt over VAR-historikken gis her).
VAR-entusiastene støtter seg gjerne på tall, noe som bekrefter deres kjærlighet for «kvantifiseringen» av fotball.
I VARs implementeringshåndbok publisert i april 2017, forteller IFAB at de skal sette i gang et prosjekt for å besvare følgende spørsmål:
“Does the implementation of VARs improve the game?”
For å besvare spørsmålet plukket IFAB og FIFAs Football Technology Innovation Department (FIFAs avdeling for teknologisk innovasjon) ut et eksternt forskerteam som skulle lede analysedelen av prøveprosjektet.
Valget falt på forskningsgruppen tilknyttet professor Werner Helsen og hans kolleger Joachim Spitz og Thibaud Nijssen ved Katholieke Universiteit (KU) Leuven i Belgia.
Det er disse forskerne som står bak den vitenskapelige analysen av IFABs prøveprosjekt om VAR. Denne forskningsgruppen har blant annet ekspertise i dommer-forskning i fotball.
Oppdraget var å samle inn og analysere VAR-data og gi en uavhengig vurdering av prøveprosjektet.
For å forsikre analytisk kvalitet skulle arbeidet til de håndplukkede forskerne i tillegg etterprøves av forskere ved Technische Universität (TU) München og Harvard University.
Bilder og video fra både kamper og VAR-rom skulle brukes som data, i tillegg til ulike typer feedback fra involverte parter som dommere, spillere, trenere og publikum.
Tre grunnleggende spørsmål
Prøveprosjektet skulle gi et bredest mulig grunnlag for å si noe om hvorvidt VAR-innføringen i toppfotballen er formålstjenlig (mer om prosjektets bakgrunn kan leses her og her).
I en video forteller professor Helsen om prosjektet på en presskonferanse i regi av IFAB.
Helsen forteller at prosjektet hadde tre forskningsspørsmål:
- 1) Øker VAR-bruk andelen korrekte dommeravgjørelser?
- 2) Hvor lang tid går med til VAR?
- 3) Fører VAR-bruk til mer rettferdighet og mer fair play?
I tillegg skulle man gjennomførte en spørreundersøkelse blant dommere, trenere og spillere for å kartlegge deres meninger om VAR og verktøyets betydning for spillet.
En noe mer utfyllende beskrivelse av prosjektet og dets resultater, er rapportert i IFABs møtenotater.
I notatet fra januar 2018 (132ndAnnual Business Meeting) forklares det at bakgrunnen for at man ville prøve ut bruk av videoteknologi i toppfotballen delvis var et resultat av mange henvendelser om et slikt forsøk fra fotballen selv og delvis på grunn av de teknologiske fremskrittene i mediene.
Belslutningen om VAR tas
I 2014 bestemte IFAB seg for å teste ut VAR gjennom et toårig prøveprosjekt med oppstart i 2016.
Sammen med FIFAs avdeling for teknologisk innovasjon, presenterte IFABs tekniske komité en prosjektprotokoll for VAR på IFABs årsmøte 5. mars 2016.
Her ble det avgjort at tiden var moden for å teste ut hvorvidt VAR kunne fungere som et verktøy for dommerne på en slik måte at fotballen var tjent med det.
Denne beslutningen ble tatt etter at IFAB hadde rådført seg med aktører som allerede hadde gjennomført analyser av hensiktsmessigheten til videodømming i fotball, slik som Det nederlandske fotballforbundet (Koninklijke Nederlandse Voetbal Bond, KNVB) og USAs Major League Soccer (MLS).
Hentet inspirasjon fra Nederland
Særlig hentet man inspirasjon og høstet erfaringer fra KNVBs dommerprosjektet Arbitrage (Refereeing) 2.0 fra 2010 som blant annet introduserte mållinje-teknologi.
Det var dessuten KNVB som formelt foreslo utbredt bruk av videoassistanse i toppfotballen til IFAB, men det var ikke før etter avgangen til tidligere FIFA-president Sepp Blatter (som en rekke ganger uttrykte skepsis til teknologiseringen av fotball) at forslaget ble nøye vurdert.
Videre diskuterte IFAB idéen med andre idretter som allerede bruker videoteknologi: rugby, amerikansk fotball (NFL), basketball (NBA) etc., og med teknologiske produktutviklere.
En rekke prøvekamper (trials) ble arrangert i USA sommeren 2016 for å teste og omdefinere VAR-protokollene og prosedyrene. VM for klubblag i Japan i desember 2016 hadde en nøkkelrolle i den videre utprøvingen.
17 land med på VAR-eksperiment
Innen utgangen av 2017 hadde 17 land signert avtale om å delta i eksperimentet: Australia, Belgia, Brasil, Kina, Tsjekkia, England, Spania, Frankrike, Tyskland, Italia, Nederland, Polen, Portugal, Qatar, Saudi-Arabia, Sør-Korea, Tyrkia og USA.
I tillegg deltok FIFA og det sør-amerikanske fotballforbundet (Confederación Sudamericana de Fútbol, CONMEBOL/CSF).
Data ble innhentet fra til sammen 804 offisielle kamper i ulike turneringer/ligaer på de øverste nivåene tilsluttet de overnevnte nasjonene og organisasjonene. Alle brukte samme VAR-protokoll.
Resultatene rapporteres å være som følger (hentet fra IFABs møtenotat fra januar 2018):
- 57 prosent av VAR-sjekkene (VAR checks) omhandler straffe- eller mål-situasjoner og 42 prosent omhandler røde kort-situasjoner. Når det gjelder spillerforveksling (feil identitet) er dette ubetydelig.
- I gjennomsnitt er det litt under fem sjekker for mulige situasjoner for gjennomgang (review) per kamp. Brorparten av sjekkene er «bakgrunns-sjekker» som ikke forstyrrer spillet.
- Den gjennomsnittlige «tapte» tiden som følge av VAR representerer én prosent av den totale spilletiden i en kamp. Til sammenligning går i gjennomsnitt ti prosent av spilletiden til frispark, åtte prosent til innkast, seks prosent til utspark fra keeper (goal kicks), fem prosent til hjørnespark og fire prosent til spillerbytter.
- Dommerne hevdes å legge til for mye av den tiden som går til spille ved VAR-bruk på slutten av den aktuelle omgangen.
- Uavhengig av den avgjørende kategorien (reviewable categories: straffe, mål, direkte rødt kort og feil spilleridentitet) viser resultatene at når VAR brukes er andelen korrekte (endelige) dommeravgjørelser (98.9 prosent) signifikant høyere enn andelen riktige opprinnelige avgjørelser (før VAR griper inn) (93.0 prosent).
- I 69 prosent av kampene er det ingen VAR-gjennomgang (review). 42 kamper (fem prosent) har mer enn én gjennomgang (review).
- I gjennomsnitt er det én avgjørelse som kategoriseres som en “clear and obvious error related to game-changing decisions” i hver tredje kamp. I 19 av 20 kamper (95 prosent) som har åpenbare feil, blir feilen(e) korrigert av VAR. Det vil si at en åpenbar feil ikke blir korrigert i 1 av 20 kamper (5 prosent).
- VAR spiller en «avgjørende» (NB! Ikke definert) rolle for kampens utfall i åtte prosent av kampene. 24 prosent av kampene er positivt påvirket av VAR ved at en opprinnelig gal dommeravgjørelse endres til en riktig avgjørelse.
Dommere er (ikke overraskende) langt mer positive til VAR enn trenere og særlig spillere (mest negative).
Tilskuere ikke spurt
VAR-holdninger blant supportere og folk flest knyttet til hvordan VAR påvirker flyten i spillet, er ikke undersøkt i prøveprosjektet.
Ifølge IFAB har imidlertid analyseinstituttet Nielsen Sports undersøkt omtrent 15000 supportere i 25 toppfotballserier (studien ser ikke ut til å være offentlig tilgjengelig eller publisert som vitenskapelig forskning).
Over tid har resultatene fra undersøkelsene til Nielsen Sports visstnok vært stabilt positive. 80 prosent av de undersøkte supporterne hevdes å være for VAR-bruk.
Legger man kommentarer på sosiale medier under ulike FIFA-turneringer til grunn, finner man ifølge IFAB også en klar overvekt av positive eller nøytrale VAR-kommentarer.
Enstemmig vedtak om å innføre VAR
Resultatene fra prøveprosjektet ble av IFAB tolket som et tegn på en så stor suksess at man den 3. mars 2018, etter et enstemmig vedtak på årsmøtet ledet av FIFA-president Gianni Infantino. IFAB omtalte dette som et “historic step for greater fairness in football”.
Jeg betviler ikke nødvendigvis disse positivt ladede resultatene som sådan, men flere av de kan og bør problematiseres.
For eksempel vil svaret på hva som til enhver tid er den korrekte dommeravgjørelsen variere ut fra hvilken dommer man spør og hvilken situasjon det refereres til.
Fotballdømming har alltid vært, er og forblir en høyst subjektiv beskjeftigelse.
Det er godt mulig at forskerne har jobbet systematisk og godt med å kartlegge andelen riktige avgjørelser, men uavhengig av fremgangsmåten benyttet her, er man nødt til å ha måttet ta stilling til en rekke tvils-/gråsone-tilfeller.
Det øker ikke prøveprosjektets troverdighet at prosessene bak disse fremgangsmåtene ikke er oppgitt (det er bare resultatene som er formidlet av IFAB) og at man tilsynelatende ikke har tatt forbehold om målefeil i denne sammenheng.
Hva som er «avgjørende» for kamputfallet er et definisjonsspørsmål og når det gjelder omgjøring av situasjoner er det motsatte også tilfellet: VAR kan potensielt også endre en opprinnelig korrekt avgjørelse til en gal beslutning.
Mange VAR-avgjørelser er blitt kritisert av eksperter og andre for nettopp å ha vært offer for dette, altså en situasjon der dommeren i første instans faktisk hadde en mer korrekt tolkning av situasjonen enn videodommerne (ved VAR only review).
Når det gjelder prøveprosjektets funn om VARs tidsbruk, skyldes den gjennomsnittlige korte tiden som tilskrives VAR i løpet av en kamp (én prosent av den totale spilletiden) at det i det store flertallet av de over 800 kampene som ble analysert ikke var noen VAR-sjekk («bakgrunns-sjekker» ekskludert)!
Tar for lang tid
I enkeltkamper opplever jeg imidlertid fremdeles med jevne mellomrom å måtte vente i flere minutter på en VAR-bestemmelse.
Da hjelper det lite at dette ikke er noe stort problem mange kamper sett over ett.
Selv om det er liten grunn til å mistro det vitenskapelige arbeidet som ligger til grunn for prøveprosjektet som sådan, er det likevel lett å mistenke IFAB og FIFA for å ville gi inntrykk av at VAR har fungert bedre enn det som faktisk er tilfellet.
Begge organisasjonene var sterkt involvert i VARs inntog i toppfotballen med prøveprosjekt og masse tilhørende pengebruk. Det kan derfor fort gå prestisje i å lykkes med dette.
Min hovedinnvending mot prøveprosjektet er dets tilsynelatende ensidige positive syn på VAR. Dette fremgår av resultatene og gjenspeiles av forskningsspørsmålene.
Bestillingsverk?
Det er mange potensielt problematiske sider ved å implementere VAR i fotballsporten.
Sånn sett bygger prøveprosjektet på et snevert kunnskapsgrunnlag ved at det retter oppmerksomheten utelukkende mot noen få utvalgte VAR-aspekter, mens man ikke kjenner til og/eller (bevisst eller ubevisst) ser helt bort fra andre og mer negative aspekter.
Det er påfallende hvor lite prøveprosjektet egentlig sier om implikasjoner for spillet både på og (spesielt) utenfor banen.
Når ingen VAR-dilemmaer eller potensielt problematiske sider ved VAR ser ut til å tas opp overhodet, er prosjektet så ukritisk at det ikke kan tas på alvor og må betraktes som langt på vei verdiløst tatt dets formål i betraktning.
Konklusjonene fremstår som tvilsomme når formålet er å si noe om hvorvidt VAR gagner fotballen eller ikke: Prøveprosjektet skulle jo gi et bredest mulig grunnlag for å si noe om hvorvidt VAR i toppfotballen er til fotballens fordel.
Det har man ikke gjort, eller i hvert fall i svært begrenset grad.
Jeg ser bare én forklaring på hvordan IFAB har tenkt her. Man har forfektet et veldig snevert syn på hvordan VAR kan påvirke fotballen.
Allmenngyldige konklusjoner er trukket på et tynt kunnskapsgrunnlag. Det styrker dessuten ikke prosjektets pålitelighet at de analytiske undersøkelsene ikke er publisert og derfor er lite transparente.
I stedet må vi forholde oss til IFABs korte oppsummering av resultatene uten å få innsikt i bakgrunnen for disse, altså hvordan man har kommet frem til resultatene.
VAR ble uansett vedtatt (prøveprosjektet ble godkjent og VAR ble innskrevet i fotballens regelverk) på et tilsynelatende ensporet og mangelfullt beslutningsgrunnlag (i hvert fall slik det fremstår for oss utenforstående).
Resultatene fra prøveprosjektet kunne i stor grad forutsies. Det er for eksempel ikke overraskende at andelen korrekte avgjørelser øker noe når VAR brukes sammenlignes med når VAR ikke brukes, eller at det gjennomsnittlige antallet klare og avgjørende feil i en kamp er lavt.
Med forbehold om at det ved en senere anledning blir mulig å gå prøveprosjektet nærmere i sømmene, så kan prosjektet minne litt om et bestillingsverk: IFAB og FIFA fikk resultatene de antagelig ønsket seg.
Mads Skauge
