Nieuwsuur en de jonge probleemdrinkers

Nieuwsuur bericht op 23 mei 2017 dat Nederland in de top-3 van landen met probleemdrinkers staat. Een klager stelt dat dit niet geconcludeerd kan worden uit het onderzoek waarop het programma zich baseert, en dat contact met het programma niet tot voldoende aanpassing van de berichtgeving leidt. In gesprek met de ombudsman vraagt Nieuwsuur zich af of zo’n onderwerp een volgende keer niet anders moet en verzucht de Nederlandse partner in het onderzoek dat door de heisa over de cijfers de kern van de zaak ondersneeuwt.

Het item

“We drinken te veel. Nederlanders staan op nummer drie in Europa als het gaat om problematisch alcoholgebruik,” zegt Nieuwsuur-presentator Mariëlle Tweebeeke op dinsdagavond 23 mei. Het bericht in het programma en op de website stelt dat Nederland wat dit betreft binnen Europa alleen Ierland en Denemarken voor moet laten gaan. Nieuwsuur heeft de primeur van de Nederlandse cijfers, die afkomstig zijn uit de Global Drugs Survey, “het grootste wereldwijde onderzoek naar drugs en alcoholmisbruik” volgens het item.

Gespecificeerd naar mannen en vrouwen scoort Nederland ook hoger dan gemiddeld, zegt het item: 41% van de mannen (versus 28% wereldwijd) en 28% van de vrouwen (tegen 20% wereldwijd) drinkt bovenmatig veel.

Ruim drieduizend mensen vulden online een vragenlijst in, “het onderzoek is geen representatieve steekproef”, zegt de voice-over daarover in het onderwerp. Een medewerker van Jellinek, expertorganisatie op het gebied van alcohol- en drugsverslaving, legt uit dat hierdoor in de onderzoekspopulatie een oververtegenwoordiging is van jongeren en mensen die iets hebben met alcohol en drugsgebruik. “Anders ga je niet zo’n lange vragenlijst invullen,” zegt zij, “maar dat is in de andere landen waar we het onderzoek hebben gedaan ook zo.”

De klacht

Op 24 mei reageert een kijker via de website bij de redactie van Nieuwsuur. Hij heeft het dan inmiddels openbaar gemaakte onderliggende rapport gelezen en legt uit waarom volgens hem de survey niet tot de door het programma getrokken conclusie kan leiden. De Nederlandse populatie in het onderzoek is behoorlijk jonger dan de gemiddelde onderzoekspopulatie: 23,5 jaar, over het geheel zijn de deelnemers gemiddeld 29,1 jaar. Verder is van de Nederlandse deelnemers 57,3% fulltime student, voor alle deelnemers is dit 29,5%.

Klager vindt het “volledig onverantwoord” bij dergelijke verschillen toch een vergelijking te maken. Hij stelt dat het rapport dat wel doet en dat Nieuwsuur dat “kritiekloos” overneemt. Hij schrijft ook nog dat het rapport een online survey is waarvoor mensen zichzelf moesten aanmelden en geen groot internationaal onderzoek zoals Nieuwsuur zegt.

De Nieuwsuur-redacteur schrijft diezelfde avond een e-mail terug en geeft aan dat in de uitzending al de nodige kanttekeningen bij de cijfers gemaakt worden. Zo wordt duidelijk gemeld dat het geen representatieve steekproef is, en de geciteerde quote van de Jellinek-medewerker wordt aangehaald. Of de deelnemers wel te vergelijken waren met het internationale cohort zegt Nieuwsuur de avond van uitzending niet te hebben kunnen checken, omdat op die internationale data een embargo rustte. Nieuwsuur had de primeur van de Nederlandse cijfers, maar het overige materiaal zou pas later beschikbaar komen. Het artikel op de site blijft die avond hetzelfde.

Klager vindt dat kwalijk en stuurt op 29 mei een mail terug. “Het klopt dat er in de rapportage kanttekeningen worden gemaakt bij de representativiteit van het onderzoek. Maar desalniettemin wordt groots het nieuws gebracht dat Nederland in de top-3 staat van problematisch alcoholgebruik. En die conclusie kan op basis van dit onderzoek niet worden getrokken,” schrijft hij. Dat het programma niet alle onderzoeksgegevens had maar toch publiceerde, vindt de klager “ernstig” omdat er nu niet kritisch naar het hele onderzoek gekeken kon worden.

De klager meldt zich diezelfde dag bij de ombudsman, omdat Nieuwsuur volgens hem niet ingaat op de kern van zijn klacht en de foutieve berichtgeving op de site blijft staan. Heeft Nieuwsuur zich misschien voor het karretje van Jellinek laten spannen, vraagt hij zich af?

Twee keer uitleg

Als de Nieuwsuur-redacteur de dag na de uitzending zelf het hele onderzoek alsnog krijgt, vindt hij ook wel dat er iets schuurt, zegt hij. Nieuwsuur gaf in de uitzending al wel aan dat het geen representatief onderzoek is, zegt hij tegen de ombudsman, maar had alleen het Nederlandse hoofdstuk van het rapport. Hij kon niet checken of de diverse internationale populaties te vergelijken waren.

Van een instelling als Jellinek – net zoals Amnesty International of de GGZ een “professionele club met een betrouwbare status” – kan verwacht worden dat opgevraagde cijfers bruikbaar zijn, zeker als door de verslaggever expliciet naar de representativiteit van de steekproef gevraagd wordt. Met de wijsheid achteraf, zegt de hoofdredactie, gaat de discussie er dan over of dat bevragen nog dieper had gemoeten en hoe realistisch het was om dat te doen.

De medewerker van Jellinek zegt tegen de ombudsman dat de Nederlandse populatie wel “iets” afwijkt van de internationale cijfers “maar niet extreem”. In het aan Nieuwsuur geleverde hoofdstuk van de studie staat geen uitgebreide statistische en methodologische onderbouwing, maar wel dat vergelijkingen tussen landen "voorzichtig" moeten worden geïnterpreteerd. In de uitzending kan de medewerker kort uitleggen hoe het met de Nederlandse cijfers zit: oververtegenwoordiging van jongeren die iets met alcohol of drugs hebben, maar dat was in andere onderzochte landen ook zo. Verder had ook Jellinek op het moment van uitzending maar beperkte toegang tot de data van de andere landen, voegt de medewerker toe.

Dat een top-3 een leuke kop voor een item oplevert begrijpt ze, al versimpelt dat het probleem ook wel, zegt ze nu. Ze geeft echter ook aan dat de tabellen in het rapport wel aanleiding geven voor het maken van zo’n top-3. En als de ombudsman het materiaal ontvangt dat Nieuwsuur van Jellinek kreeg, blijken de woorden “derde plaats” daarin ook te staan.

Enquêtehygiëne

Er is zoiets als ‘enquêtehygiëne’, correct gebruik in de media voor onderzoeken en enquêtes, en dit specifieke voorbeeld leidt aan alle kanten tot stevige reflectie. Ook bij de ombudsman, die gevraagd en ongevraagd statistiekles en wetenschappelijke onderbouwing krijgt over de bruikbaarheid en betrouwbaarheid van surveys. Wie diep onder de motorkap van deze survey duikt (of laat duiken, zoals de ombudsman die geen statisticus is) vindt hoe de cijfers wel controleerbaar en vergelijkbaar zijn, toch anders dan de klager aangeeft.

De ombudsman beoordeelt niet de methodologie of resultaten van de survey, maar onderzoekt hoe de journalistieke aanpak bij het maken van het Nieuwsuur-item geweest is. Allereerst was vanwege het embargo maar een deel van het materiaal beschikbaar, en een (uitgebreide) statistische toelichting was niet meegeleverd. Het GDS-hoofdstuk over Nederland dat Nieuwsuur had, maakte wel een opmerking over de vergelijkbaarheid tussen landen: “Because the samples we have obtained from different countries vary considerably in the size of the country sample, its representativeness, the precise demographics and other characteristics of respondents such as age, gender, involvement in clubbing and drug use such comparisons have to be treated with some caution.” Dus ook zonder de volledige gegevens van de andere landen in handen te hebben was er reden voor enige voorzichtigheid bij gebruik. Maar de opmerking in het item dat de steekproef niet representatief was, blijkt samen met de quote van Jellinek over de oververtegenwoordiging van jongeren toch niet voldoende duidelijk over hoe de resultaten geduid kunnen worden. 

In Nieuwsuur een conclusie trekken over alle Nederlanders  is een flinke stap (“We drinken te veel”, waarbij “we” staat voor alle Nederlanders, is te kort door de bocht), maar de GDS-surveypopulaties laten wel vergelijkingen over het gedrag van groepen jongeren toe. Dat Nieuwsuur dat deed is dus niet gek, al had ook hier (ook in tekst, want in beeld zijn uitsluitend jongeren te zien) meer uitleg en helderheid gepast.

Artikel aangepast

De Nieuwsuur-redacteur vindt zelf na lezing van het hele rapport ook dat meer toelichting in het artikel op de website nodig is en past op 30 mei een aantal formuleringen aan. Dat is één dag nadat de klager hem ten tweede male (en de ombudsman voor de eerste keer) contacteert. Het was er eerder bij ingeschoten, schrijft hij de klager nog. Hier is de klager op zich wellicht terecht ongeduldig – want als informatie onjuist zou zijn moet die (liefst snel) gecorrigeerd – maar onwil ziet de ombudsman niet.

Alleen dat aangepaste artikel is op dit moment nog terug te lezen, maar de ombudsman krijgt ter informatie de exacte wijzigingen te zien. De focus gaat naar de jongeren. Het artikel stelt nu duidelijker dat in Nederland verhoudingsgewijs meer en jongere jongeren tot de populatie van het onderzoek behoren, waaronder ook nog eens veel meer studenten. En er wordt meer benadrukt dat het hier geen representatief onderzoek betreft maar een enquête waarvoor je je zelf moest aanmelden. Daarmee krijgen de resultaten van de Global Drugs Survey meer context.

 

Wel of niet uitzenden?

Ombudsman, redacteur en hoofdredactie wisselen verder van gedachten over de vraag of Nieuwsuur die avond überhaupt had moeten publiceren. Het programma was akkoord met de beschikbaarheid van alleen de Nederlandse gegevens. Maar de volledigheid van de cijfers had vóór de primeur moeten gaan, reflecteert de redacteur nu.

Dat er wel voor publicatie is gekozen is achteraf misschien spijtig maar verklaarbaar, zegt de hoofdredacteur, je mag immers betrouwbaarheid verwachten bij cijfers van een gerenommeerd centrum (het gaat hier overigens om al dan niet (on)vergelijkbaarheid, eerder dan om (on)betrouwbaarheid). Dat ontslaat een gerenommeerd programma natuurlijk niet van stevig doorvragen, zegt de ombudsman. De hoofdredacteur zegt het daar uiteraard “nooit mee oneens” te kunnen zijn, het had alleen realistisch gezien betekend dat pas na verschijnen van alle onderzoeksresultaten en nader eigen research gepubliceerd had kunnen worden. Is dat erg, als dat tot een – volgens de ombudsman – duidelijker item zou hebben geleid? Dat besluit is aan een hoofdredactie…

Nieuwsuur en Jellinek bestrijden beide dat er sprake was van een karretje waarvoor iets gespannen moest worden. De redacteur was zelf naar de resultaten van de Global Drugs Survey op zoek gegaan. Op zijn vraag of hij de cijfers onder embargo kon krijgen, was hij doorverwezen naar de Nederlandse partner, het goed bekendstaande Jellinek. Maar hij heeft daarna wel érg vertrouwd op de organisatie, vindt hij nu.

 

Tot slot

Inmiddels zijn ook collega-journalisten aan het fact checken gegaan. Een Volkskrant-redacteur constateert een ander manco aan het maken van een top-3 van probleemdrinkers op basis van de Global Drugs Survey: als onzekerheidsmarges worden meegenomen, kunnen de Nederlandse deelnemers op nummer 1 staan. Of ook zomaar op nummer 6. Maar het rapport levert die onzekerheidsmarges en nuances niet mee.

Lijstjes mogen een leuke journalistieke vorm zijn om droge cijfers drinkbaar te maken, maar dan moeten de gegevens wel tot een glashelder lijstje leiden. Het Nieuwsuur-artikel zou liefst nog een nuancering over onzekerheidsmarges kunnen toevoegen. Maar wordt een stuk niet onleesbaar en een tv-item niet gruwelijk om aan te zien als al die kwalificaties, uitleg en nuanceringen erbij moeten? Journalisten zijn creatief genoeg om daarmee te kunnen omgaan. Het is vooral zaak om tijdens de journalistieke verwerking van wetenschappelijk onderzoek en enquêtes altijd voldoende kritische checks te (laten) doen, van wie de resultaten ook komen.

“Er wordt wat afgepeild,” zegt bijzonder hoogleraar in de survey methodologie Jelke Bethlehem op zijn website peilingpraktijken.nl. Hij leerde de ombudsman ooit de term ‘enquêtehygiëne’ en maakte samen met het CBS, het platform voor survey-onderzoek NPSO en de Vereniging van Onderzoeksjournalisten VVOJ, een eenvoudige checklist voor het omgaan met enquêtes en peilingen. Verplichte kost, voor alle journalisten. 

De Jellinek-medewerker verzucht tot slot tegen de ombudsman: “Het is jammer dat de essentie van het verhaal nu ondersneeuwt, namelijk dat grote groepen jongeren problematisch alcoholgebruik vertonen.” Dát laten de cijfers van de GDS immers wel zien. 

Misschien moeten de veelzuipers in de herkansing op tv. Want het item leverde ditmaal vooral een top-3 van gesteggel op.