Datakwaliteit is cruciaal: guesstimates geven geen zekerheid

Guesstimates zijn schattingen die worden gemaakt zonder gebruik van adequate en volledige informatie. Het is een combinatie van een guess (gok) en een estimate (schatting). Je kunt je voorstellen dat de datakwaliteit en betrouwbaarheid van deze gegevens twijfelachtig is. Het blijkt echter dat op basis van guesstimates belangrijke besluiten worden genomen, zoals bijvoorbeeld bij klimaatdoelstellingen rondom emissie van methaan en rondom tellingen van bedreigde diersoorten. Waarom zijn sommige berekeningen gebaseerd op schattingen? En kloppen die gegevens wel?

Nederlandse rapportage over uitstoot broeikasgas bepaald via guesstimates: datakwaliteit moeilijk te controleren

Klimaatjournalist Han van de Wiel publiceerde de onthulling dat Nederland veel meer broeikasgas uitstoot dan de overheid beweert. Nederland rapporteert dat de uitstoot van methaan met 43 procent is gedaald ten opzichte van 1990. Maar wat blijkt: de rapportages over de Nederlandse uitstoot worden niet gedaan op basis van metingen, maar op basis van modellen en guesstimates. Uit meetgegevens blijkt dat de emissies van methaan wel dalen, maar veel minder hard dan op basis van de modelberekeningen wordt geconcludeerd. Die geven een daling van maar 20 procent aan.

Een deel van de data over methaanemissies die voor de berekeningen wordt gebruikt is verzameld door bedrijven zelf. Gebleken is dat dit gebeurt op grond van niet te achterhalen emissiefactoren en schattingen over hoeveel gas bedrijfsinstallaties laten weglekken. De volledigheid, betrouwbaarheid en kwaliteit van deze data daarom is moeilijk, zo niet onmogelijk, te controleren. Behalve het betreffende bedrijf en de toezichthouder kan niemand erbij.

Twijfelachtige cijfers over aantal panda’s en andere bedreigde diersoorten

Een andere guesstimate gaat over bedreigde diersoorten. Uit Chinese cijfers zou blijken dat het aantal wilde panda’s in tien jaar tijd met 17 procent is toegenomen, waardoor de panda niet langer geldt als bedreigd. De status van de panda is recent gewijzigd van ‘bedreigd’ naar ‘kwetsbaar’.

Dit alles is gebaseerd op één pandatelling, namelijk de telling die de Chinese overheid om de tien jaar laat uitvoeren. Bij deze telling worden de panda’s niet direct geteld, maar wordt er geschat op basis van de drollen die ze achterlaten. Individuele panda’s zijn blijkbaar te onderscheiden aan de hand van bamboestukjes in hun poep.

Tussen de poep en de panda zitten verschillende aannames en rekenstappen met onzekerheid. China presenteert de telling alsof elke individuele panda is geteld, maar in werkelijkheid is het onmogelijk om precies te weten hoeveel panda’s er zijn. De cijfers zijn niet te controleren en de berekening is niet te herhalen, want China geeft de ruwe data niet vrij. Kortom, de datakwaliteit is zeer twijfelachtig.

Datakwaliteit en alternatieve feiten

In een eerder blog schreven we over datakwaliteit in het tijdperk van ‘alternatieve feiten’. Er is een toenemende afhankelijkheid van betrouwbare data. Het is bizar om te zien dat op wezenlijke onderwerpen als klimaat en beschermde diersoorten er op basis van guesstimates besluitvorming plaatsvindt.

Nu stelt Joseph Juran dat data van hoge kwaliteit is als het geschikt is voor het beoogde doel in operationeel gebruik, besluitvorming en planning. Ook al wordt het beoogde doel misschien bereikt,  ‘meten is weten’ blijft van belang en als meten mogelijk is moet je dat zeker doen.

De belangrijkste aspecten van datakwaliteit

De onthulling over de uitstoot van broeikasgassen toont het belang van datakwaliteit overtuigend aan. Het lijkt me duidelijk dat aan een aantal wezenlijke aspecten van datakwaliteit niet is voldaan. Daarom zetten we ze hier nog eens op een rijtje, in de hoop dat er ook op deze onderwerpen meer focus komt op datakwaliteit.

• Validiteit: geeft de data weer wat het weer moet geven? (meet ik wat ik wil meten?)
• Nauwkeurigheid: geeft aan in hoeverre de data de werkelijkheid weergeeft
• Volledigheid: geeft aan in hoeverre alle noodzakelijke data aanwezig is
• Consistentie: geeft aan in hoeverre alle waardes op dezelfde manier (methode of procedure) zijn bepaald en of door het hele systeem dezelfde coderingen en verwijzingen gehanteerd worden
• Toegankelijkheid: geeft aan in welke mate er toegang tot de data is
• Tijdigheid: geeft aan in hoeverre de data op tijd beschikbaar is

Wil jij met een expert overleggen wat je kunt doen om de datakwaliteit binnen jouw organisatie te verbeteren? Neem dan vrijblijvend contact op met één van onze specialisten. Zij helpen je graag verder.