Broccoli eten risicovol? De complexiteit van data analyseren

De EFSA heeft in een rapport over de resultaten van 2015 geconcludeerd dat het risico voor consumenten voor wat betreft residuen van pesticiden laag is. Het rapport is volledig publiek en transparant, maar toch blijkt het lastig om de data goed te analyseren en interpreteren. Ook al is de conclusie dat het risico laag is, lees ik dat in 3,4% (34) van de broccoli monsters de residu concentraties de MRL overschrijden, voornamelijk door dithiocarbamates. En 1.2% (12) van de monsters waren non-compliant. Mijn eerste reactie is verontrustend. Voor een liefhebber als ik betekent dit namelijk dat ik bij iedere honderd keer dat ik broccoli eet, één keer te hoge hoeveelheden dithiocarbamates binnenkrijg. En als ik op internet google op de potentiële negatieve gezondheidseffecten van dithiocarbamates, dan word ik daar niet vrolijk van.

Gelukkig weet ik dat het allemaal genuanceerder ligt. Non-compliant monsters zijn niet altijd een indicatie dat er een significant risico voor de voedselveiligheid bestaat. Bij het aantreffen van residuen boven de MRL wordt ook naar de ARfD gekeken, de Acute Reference Dose, om acute risico’s in te schatten. Daarbij wordt naast de toxiciteit van de stof ook rekening gehouden met het consumptiepatroon. ESFA heeft een risk assessment gedaan voor de risico’s bij langdurige blootstelling aan bijvoorbeeld dithiocarbamates en dan lijkt het allemaal reuze mee te vallen. Bovendien komen is het aantreffen van dithiocarbamates niet altijd gerelateerd aan pesticidengebruik, omdat deze ook in natuurlijke vorm in broccoli voorkomen. Vanavond staat er dus gewoon broccoli op het menu.

De meest voorkomende fouten bij het verkeerd analyseren van data

Aan mijn eerste analyse en interpretatie van de ESFA cijfers zie je dat er fouten kunnen ontstaan bij het analyseren van data. Hoe voorkomen we dat wij zelf of anderen verkeerde conclusies uit data trekken? En welke fouten worden bij data analyse het meest gemaakt?

1. Conclusies op basis van te lage steekproef of korte periode
Aan data uit een te lage populatie of steekproef of een te korte periode kun je geen conclusies trekken. Data kunnen fluctueren in de tijd en een te korte periode of te lage steekproef creëert een afhankelijkheid van toevallige parameters op dat moment. Soms denk je een trend te signaleren terwijl je in werkelijkheid naar een seizoenseffect kijkt. Laat je niet verleiden tot uitspraken als aan een representatieve periode of steekproef niet is voldaan.

 2. Conclusies op basis van incomplete data
Op basis van facturen van handelsbedrijven in sierteelt analyseren en rapporteren we voor een klant marktinformatie voor de sector. Om dat niet de volledige 100% van de markt aan dit initiatief deelneemt, is het voor betrouwbare marktinformatie noodzakelijk om hier correcties op te doen. We doen dit aan de hand van betrouwbare logaritmes. Op deze manier kunnen we toch op een betrouwbare manier inzicht geven in de prestaties van de sector als geheel. Het is dus niet altijd nodig om complete data te hebben, maar wel zijn in dat geval bepaalde bewerkingen nodig.

3. Conclusies op basis van resultaten zonder significantieberekening
Er worden nog vaak conclusies getrokken en besluiten genomen op basis van resultaten zonder een gedegen significantieberekening. Een statistische toetsing is van belang om aan te tonen dat het beeld wat de data vertoont niet op toeval berust. Als het gaat om versproduct is het minimaal nodig om de natuurlijke variantie of de toevallige afwijkingen op zijn merites te beoordelen. Hiervoor zijn statistische methodes voorhanden.

4. De ‘context gap
Dit is misschien nog wel de belangrijkste: data zonder context interpreteren is gevaarlijk. We zeggen niet voor niets dat iets ‘uit zijn verband wordt gerukt’. Zonder context geen interpretatie. Zorg bij de interpretatie en zeker bij de presentatie van data dan ook altijd voor de juiste context en achtergrond. Is die er niet voorhanden of ken je de context niet, trek dan geen conclusies.

Data analyse is een specialisme

Als je besluitvorming gaat baseren op door jou zelf gegenereerde data of data van derden, dan kun je maar beter zorgen dat de conclusies die je daaruit trekt ook valide en betrouwbaar zijn. Het analyseren van data is zeer complex en daarom een specialisme. 

Wil jij met een expert overleggen wat je kunt doen om data op een betrouwbare manier te analyseren of de datakwaliteit binnen jouw organisatie te verbeteren? Neem dan vrijblijvend contact op met één van onze specialisten. Zij helpen je graag verder.