Berlingskes rundspørge i Penkowa-sagen havde ikke dækning for at konkludere, at halvdelen af forskerne ønskede rektors afgang. Svarprocenten var for lille, skriver Nils Mulvad i denne udtalelse om sagen i forbindelse med Universitetsavisens opfølgning og senere interne diskussion om metoder.
Fagbladet Journalisten bringer i dag en længere gennemgang af striden på Universitetsavisen.
Elektroniske rundspørger anvendes i stor udtrækning af medier, særligt af Berlingske, Politiken, Jyllands-Posten og DR. Der er netop udgivet en lærebog i rundspørger for journalister på forlaget Ajour med titlen ”En ny undersøgelse viser – eller gør den?”. Bogen er en praktisk guide til spørgeskemaundersøgelser. Metoden har i flere år indgået i uddannelsen af journalister på Journalisthøjskolen.
Berlingskes rundspørge – og de lave svarprocenter
Berlingske bragte en artikel den 23. juni 2011 om forskeres kritik af rektor. Berlingskes rundspørge om forskernes holdning til rektor og bestyrelsen på Københavns Universitet indeholder klare spørgsmål med gensidigt udelukkende svarkategorier. Det er relevante spørgsmål til at få dækkende svar i en så penibel sag. Det er udmærket at sende den ud til alle forskere. Men det er besynderligt med en så lav svarprocent på 19 (1.049 svar ud af 5.500 respondenter).
Berlingske burde have arbejdet en del med at få svarprocenten op. Det kunne måske være sket ved at sikre direkte udsendelse af rundspørgen og flere rykkere. Indsamlingsmetoden fremgår dog ikke af artiklen. Det kan være, at journalisterne har gjort en del. Det kan også være, at de blot har sendt ud en enkelt gang.
Hvordan de rent faktisk har gjort det, betyder noget for, hvad de kan konkludere ud fra undersøgelsen. Har der været rykket flere gange, må de have svar på, hvorfor så mange ikke svarer. Har den blot været sendt ud en gang, er svarprocenten lav, men ikke fuldstændig uforklarlig.
Der er ikke dækning for, at Berlingske indleder historien sådan her: ”Op mod hver anden videnskabelig medarbejder på Københavns Universitet (KU) tilkendegiver over for Berlingske, at Ralf Hemmingsens burde fratræde sin rektorstilling som følge af skandalesagen om hjerneforsker Milena Penkowa.”
Avisen generaliserer, hvor den skulle holde sig til at sige, at 507 svarpersoner mener, at rektor bør gå, og at 426 ikke har tillid til bestyrelsen.
Jeg vil tro, at der er en overvægt af kritikere af rektor blandt besvarelserne, således at undersøgelsen ikke er dækkende for forskernes synspunkter generelt. Men det ville formentlig være tilfældet uanset, hvordan spørgsmålene var formuleret. Kritikerne vil gerne have deres synspunkter ud og frem i medierne, og derfor vil flere af dem formentlig svare end forskere uden den holdning.
Der er samtidig en klar tendens til, at folk ikke svarer på alle de mange rundspørger, der hele tiden kommer, og at det er almindelig rundspørge-træthed, der får folk til ikke at svare, ligesom mange forskere af principielle grunde ikke vil svare på rundspørger fra medierne. Det vil også omfatte de kritiske forskere. Så der er formentlig flere kritiske forskere end de 507.
Spørgsmålene i rundspørgen fra Berlingske
Jeg er blevet spurgt, om spørgsmålene er voldsomt tendentiøse og ledende ved næsten konsekvent kun at vende den ene vej.
Man kan godt kritisere formuleringen af spørgsmålet:
»Har du fortsat tillid til bestyrelsen, så længe Ralf Hemmingsens fortsætter som rektor?«
Tager man spørgsmålet bogstaveligt, svarer man ja til, at man altid og i alle sager vil have tillid til bestyrelsen – blot Ralf Hemmingsen er rektor. Det burde have været omformuleret til noget i stil med: ”Påvirker det din tillid til bestyrelsen, at Ralf Hemmingsen fortsat er rektor” – og svarkategorier kunne fx have været:
Min tillid til bestyrelsen er øget. Min tillid til bestyrelsen er uændret. Min tillid til bestyrelsen er mindsket.
Formuleringen er blot et af flere tegn på, at rundspørgen ikke er tilstrækkelig gennemarbejdet.
Spørgsmålene vender ”den ene vej”, men det gør ikke undersøgelsen voldsom tendentiøs. Nogle gange er det dog en god ide at tage et spørgsmål med, som er vendt den anden vej – netop fordi erfaringen viser, at det er lettere at få folk til at erklære sig enige end uenige. Det har man så ikke gjort her, men det havde styrket deres dokumentation, hvis de havde gjort det.
Dog er det som hovedlinje klare spørgsmål med gensidigt udelukkende svarkategorier. I journalistiske rundspørge skal hvert spørgsmål normalt kunne føre til en journalistisk vinklet historie. Det er for ikke at spilde respondenternes tid og dermed få bedre svarprocenter, ligesom der skal være et klart journalistisk formål med en rundspørge.
Universitetsavisens opfølgning
Universitetsavisen refererede Berlingskes artikel i en omtale den 24. juni 2011 og lancerede her sin egen rundspørge. Det er en fornuftig journalistisk opfølgning at forsøge at finde ud af, hvor udbredt kritikken af rektor og bestyrelsen rent faktisk er blandt de forskellige personalegrupper og studerende på universitetet.
Berlingske-spørgsmålene er fornuftige til det, men netop i lyset af den lave svarprocent i Berlingske burde man have gjort en del for at sikre bedre svarprocenter og repræsentativitet, dvs. arbejdet en del med, hvordan man sender rundspørgen ud, så den faktisk får folk til at svare. At sende den ud som en del af et nyhedsbrev og lade den være klikbar på hjemmesiden, sådan som Universitetsavisen gjorde, giver efter erfaringen meget få svar. Her burde man have arbejdet en del med følgebrevet (kort og klart) og testet det og rundspørgen flere gange hos svarpersoner, før det var sendt ud. Herefter burde rundspørgen være sendt særskilt ud, og der burde være rykket flere gange.
Ligeledes burde man særskilt overveje, om man evt. kunne gøre besvarelserne repræsentative, evt. ved at begrænse respondentgruppen og så i stedet gøre en del for at få svarprocenten op, for eksempel ved at bruge de mailadresser, der fremgår af universitets telefonbog. På den måde ville man på forhånd vide, hvilken medarbejder og –type, der var tale om. Det ville give mulighed for at teste for repræsentativitet, og det ville gøre det nemmere at gøre en indsats for at få svarprocenten op på et fornuftigt niveau.
Når der er så få besvarelser, burde der ikke være skrevet en artikel. Det er godt, at den i det mindste ikke er trykt. Den bidrager netop ikke med at afklare, hvor udbredt kritikken faktisk er.
Konklusion
Spørgsmålene i Berlingske-rundspørgen er OK, men svarprocenten er meget lav, og der er ikke dækning for avisens konklusion. Artiklen bidrager til at vise omfanget af utilfredsheden, om end avisen med stor sandsynlighed skyder over målet.
Det er udmærket at følge op ved at genbruge spørgsmål (evt. foretage mindre revisioner efter test) over for alle personalegrupper og studerende, men svarprocenten i Universitetsavisens rundspørge er alt for lav til at konkludere noget.
I journalistik generelt og særskilt analytisk journalistik er det almindeligt, at medierne begår fejl. En fornuftig metode er her at lade være med at trykke resultatet og gøre det bedre næste gang.
Det er også meget udbredt, at de kritiserede i en journalistisk artikel forsøger at vende kritikken mod budbringeren og få diskussionen til at dreje sig om metoder i stedet for indhold. Det betyder selvfølgelig, at man som medie skal forsøge at gardere sig og sørge for, at metoderne er 100 pct. i orden, men også at man skal tage de mest kritiske med et gran salt. Ofte er det, fordi de ikke bryder sig om konklusionen og diskussionen og ønsker opmærksomheden fjernet herfra.
Journalisten: Ansvarsløs og skandaløs
Journalisten: Eksperter: Undersøgelsen er for tynd
Kaas & Mulvad: Tommy Kaas’ indlæg om en rundspørge om forfatteres selvcensur.
Kaas & Mulvad: Blogindlæg om journalister som skydeskive.
Det er undertegnede, som står bag den kritiserede måling.
Faktum er, at der med 1.000 svar er tale om langt tungere materiale end mediernes typiske rundspørger. Blandt andet derfor står vi meget uforstående over for ovenstående kritik, som da også er temmelig tyndbenet underbygget og antyder manglende viden på området.
Kritikken ligner mere en diskussion af, hvad vi kunne have gjort, og hvad vi måske har gjort osv. Det er tydeligt, at man ikke har sat sig ordentligt ind i rundspørgens metodik, og i øvrigt mangler viden om, hvad der er foregået forud.
Vi har prøvet at forstå, hvad det egentlig er, Nils Mulvad mener skulle gøre rundspørgen dårlig. Der tegner sig to hovedpointer, nemlig svarprocenten, samt formuleringen af de to spørgsmål. De øvrige kritikpunkter ”træder lidt vande”, og når aldrig rigtig ind til strandbredden.
Artiklen bygger på to meget simple spørgsmål, der begge kan besvares med ja og nej: ”Mener du, at Ralf
Hemmingsen bør gå af efter Penkowa-sagen?” og ”Har du fortsat tillid til DIREKTIONEN, så længe Ralf Hemmingsen fortsætter som rektor?”. To helt klare spørgsmål med meget klare svar, der er umulige at tolke forkert. Opbakningen til rektor er så lav, at artiklens konklusion er svær at betvivle. At ændre spørgsmålsformuleringen til de af Nils Mulvad tre foreslåede svaralternativer ændrer intet nævneværdigt. Det giver allerhøjest respondenten en følelse af at kunne nuancere sit svar, men til gengæld bliver tolkningen mere usikker.
Hvad angår svarprocenten, kan man ikke uden videre konkludere, at den altid skal være højere end i dette tilfælde. Man skal se på antallet af reelle svar, vi har modtaget, i forhold til den totale population. Vi ender med 1.049 svar af en totalpopulation på 4.000 mulige – en svarprocent på 25. I artiklen angives totalpopulationen ved en fejl til 5.500. Undervejs kunne vi konstatere, at knap 1500 inviterede respondenter ikke var i den relevante målgruppe.
Således ender den faktisk andel af svar i forhold til målgruppens størrelse så højt, at kritikken om den lave svarprocent ikke holder i dette tilfælde. Det tror jeg også kritikeren er klar over. Det var anderledes, hvis vi talte om en totalpopulation på fx 100, hvor fx 25 respondenter er for lidt til at tegne et korrekt billede. Mens 1.000 personer bliver en helt anden valid masse. Der vil altid være usikkerhed ved rundspørger og undersøgelser. Analyseinstitutter har typisk højere svarprocenter, men til gengæld laver de kun stikprøver. Vi har fat i totalpopulationen, hvilket alt andet lige gør undersøgelsen væsentlig mere sikker end ellers.
Det er således i sig selv ikke et problem, at kun en fjerdedel svarer, så længe der ikke er en bias, fx i form af at alle rektors støtter undlader at svare på spørgeskemaet. Men vi har i introduktionsmailen til spørgeskemaet ikke omtalt emnet om rektor. Man får altså ikke mulighed for at vælge spørgeskemaet fra ud fra ens positive/negative holdning til rektor. Der er derfor ingen grund til at tro, at en sådan bias skulle være til stede.
Desuden var der en lang række baggrundsinformationer, som ikke blev fremlagt i avisen, og som heller ikke fremgik af spørgeskemaet, der blev sendt ud til respondenterne. Vi ved derfor meget om respondenterne, fx navn, hvilket institut de er tilknyttet, præcise titel, forskningsområde mv.
Selv om vi står inde for det færdige resultat, er det ikke rigtigt, at vi udlægger tallene for at være en repræsentativ undersøgelse. Vi understreger endda i artiklens første afsnit, at tallene skal ses i sammenhæng med de 1.049 svar, vi har fået.
Respondenterne har fået rig mulighed for at svare. De har fået rykkere og rundspørgen kørte i ca. to uger, og den blev forlænget for netop at få flere svar ind. Mange rykkere er oftest ikke særligt nyttige, viser vores erfaring. Oftest irriterer de blot folk, der allerede har besluttet ikke at svare. Det ønsker vi ikke.
Som det fremgår, er vi forundret over kritikken, der mest bærer præg af at blive ytret af en privat virksomhed, der netop tjener penge på at lave sådanne rundspørger. Man kunne næsten få den tanke, at der mangler kunder i butikken, siden kritikken er så svagt underbygget.
Med venlig hilsen
Philip Dam, Journalist
Thomas Hedin, Researchredaktør
Dejligt, at de to ansvarlige for rundspørgen går ind i diskussionen.
Tolkning og svarprocenter
I skriver i jeres kommentar:
“Selv om vi står inde for det færdige resultat, er det ikke rigtigt, at vi udlægger tallene for at være en repræsentativ undersøgelse. Vi understreger endda i artiklens første afsnit, at tallene skal ses i sammenhæng med de 1.049 svar, vi har fået.”
Det er jo ikke rigtigt. Der står i artiklen:
“. Op mod hver anden videnskabelig medarbejder på Københavns Universitet (KU) tilkendegiver over for Berlingske”.
Det er jo netop her, I generaliserer og lader svar fra 506 personer (som kun er 12-13 % ud af 4000) blive til “hver anden”.
Bortfaldsanalyse
Har I for eksempel lavet en reel bortfaldsanalyse, der kan vise, om de 75 pct., der ikke har svaret, kunne have en anden mening end de 25, der har svaret. Eller er det nok at tro, at det ikke forholder sig sådan?
For at få en bedre tolkning af dækningen af svar må I i gang med at støve jeres værktøjskasse af. Når der er så få respondenter, må man bruge det faktiske tal og ikke en procentsats.
Skriv for eksempel : 500 forskere ønsker at rektor bør gå i stedet for at skrive halvdelen. Gør det på lignende måde i andre rundspørger, hvor svarprocenten er under 70.
Spørgsmål er OK
Omkring spørgsmålenes formulering – prøv at læs kritikken igen. Jeg skriver netop, at man godt kan bruge disse spørgsmål og konkludere ud fra dem. Men man kan også i særlige følsomme sager have formuleringer, der vender begge veje – for at gøre konklusionen mere sikker. Og det kunne man godt have gjort i dette tilfælde – for at forebygge kritik, når man nu ved, hvor følsom en sag, det er.
Udtalelse til Universitetsavisen
Jeg er blevet bedt om en udtalelse af Universitetsavisen i deres interne diskussion om metoder og har derfor lavet den. Kaas & Mulvad har offentliggjort den, så alle kan se den. Den ligger i øvrigt også på Journalistens hjemmeside.
Vi synes, at det er godt med en metodediskussion om rundspørger. Jeg er spurgt, fordi Kaas & Mulvad udfører mange rundspørger for medier, og fordi jeg er lektor på Journalisthøjskolen og underviser i bl.a. analytisk journalistik.
Derfor er det lidt pudsigt med jeres sidste afsnit: ” kritikken, der mest bærer præg af at blive ytret af en privat virksomhed, der netop tjener penge på at lave sådanne rundspørger”.
Hvor adskiller vi os egentlig fra Berlingske, når man ser sådan på det?
Fortæl: Sådan gjorde vi
Jeg vil foreslå, at I fremover bringer en bedre beskrivelse af, hvad I rent faktisk har gjort, end I gjorde i forsker-rundspørgen. Jeg har set i en efterfølgende rundspørge i Berlingske, at I har gjort det væsentligt bedre. Fortsæt med det.
Mvh
Nils Mulvad
Kære Philip og Thomas.
Fagbladet Journalisten bad mig om en kommentar til jeres undersøgelse, og det viste sig, at jeg er meget enig med Nils Mulvad, som også blev bedt om en kommentar. Jeg har efterfølgende omtalt emnet på den blog, som jeg driver sammen med Kresten Roland Johansen i forlængelse af den bog, vi udgav i januar: ”En ny undersøgelser viser – eller gør den?”: http://www.en-undersoegelse-viser.dk/?p=714
Her anerkender jeg, at I har fat i en god historie, når I dokumenterer, at 500 forskere undsiger deres rektor. Jeg holder dog fast i, at I ikke har belæg for at skrive, at halvdelen af forskerne ønsker rektors afgang.
I skriver: ”Vi har fat i totalpopulationen, hvilket alt andet lige gør undersøgelsen væsentlig mere sikker end ellers.” Der er jeg uenig. At I spørger hele populationen, gør jo ikke dem, der har svaret, mere repræsentative.
Med en svarprocent så lav som 25 kan kritikere med godt ret hævde, at de tre fjerdedele, der ikke har svaret, sandsynligvis enten ikke har nogen mening om spørgsmålet (”Ved ikke”), eller at de ikke ønsker rektors afgang (”Nej”). Begge dele ville underminere jeres konklusion om, at halvdelen ønsker rektors afgang.
Min hovedpointe er, at vi journalister skal undlade at drage for vidtgående konklusioner på baggrund af rundspørger. Det gælder vores troværdighed. Og når man tilmed har en god historie, uden at man ”presser” procenterne, er der da endnu mindre grund til at gøre det …
Mvh.
Lars Friis
Kære Philip. Thomas, Lars og Nils
Blot en principiel kommentar om stikprøver contra totalundersøgelser.
Philip og Thomas skriver:
“Analyseinstitutter har typisk højere svarprocenter, men til gengæld laver de kun stikprøver. Vi har fat i totalpopulationen, hvilket alt andet lige gør undersøgelsen væsentlig mere sikker end ellers.”
Lars Friis skriver:
“Der er jeg uenig. At I spørger hele populationen, gør jo ikke dem, der har svaret, mere repræsentative”.
Det er jo to tilsyneladende modstridende påstande.
Det er rigtigt, at totalundersøgelser er mere sikre end stikprøver, fordi der til stikprøver knytter sig usikkerhed ved udvælgelsen af respondenter til stikprøven. Hvis udvælgelsesmetoden, som f. eks. tilfældig udtrækning, egner sig til at skabe et repræsentativt udsnit af populationen, så er stikprøven behæftet med det der betegnes som tilfældige fejl. Det tager man højde for ved generalisering fra stikprøve til population ved at beregne et konfidentsinterval, hvori andelen i populationen med en bestemt sikkerhed (fx 95%) forventes at ligge.
Så det er rigtigt, at totalundersøgelser ”alt andet lige”, som Philip og Thomas skriver, er bedre en stikprøver. Alt andet er imidlertid ikke lige i Berlingske rundspørge, når svarprocenten er så lav som 25 %. Derfor har Lars og Nils ret i deres kritik af generaliseringen af undersøgelsen. Et berømt eksempel på fejlgeneralisering er det amerikanske tidsskrift ”Det bedste”, der i 1936 ønskede at forudsige resultatet af præsidentvalget mellem Landon og Roosevelt. Tidsskriftet sendte 10 mio. spørgeskemaer ud og fik 25 % retur. 2,5 mio. svar, som jo er stort antal, der viste, at Landon ville vinde stort over Roosevelt. Det gik som bekendt helt modsat, hvilket skyldes det, som man betegner som systematiske fejl i udvælgelsen af respondenter. Den gruppe, der har svaret, repræsenterer ikke populationen.
Problemet ved små svarprocenter er derfor risikoen for systematiske fejl ved generalisering. Hvad hovedparten mener, det er de 75 % som ikke har svaret, kan altså afvige ganske gevaldigt fra de 25 % der har svaret. En repræsentativt udvalgt stikprøve med 800 personer ville kunne have forudsagt Roosevelts valgsejr. Det er altså ikke antallet, men udvælgelsesmetoden, der gør det muligt at generalisering.
Når kun 25 % svarer og 75 % ikke svarer, så har respondenterne udvalgt sig selv, uden at de ansvarlige for rundspørgen kan sikre rundspørgens repræsentativitet. I sådan et tilfælde er det bedre at referere de eksakte tal, som Nils anbefaler, eller at skrive, at xx % af de som svarede på undersøgelsen mener…, og at undersøgelsen er besvaret af en fjerdedel af de relevante personer, hvorfor konklusionen må tages med et vist forbehold, da holdningen hos hovedparten ikke er kendt. Alternativt skal man kunne argumentere for, at det ikke er forskel på holdningen hos dem som har svaret og dem som ikke har svaret, og det kræver mere end blot et ”tror”.
mvh
Flemming Svith