Vraag.

Integriteitsonderzoek moet - net als ander praktijkgericht (juridisch) onderzoek - valide en betrouwbaar zijn. Maar wat zijn nu de verschillen tussen deze begrippen? Heb je een voorbeeld bij integriteitsonderzoek?


Betrouwbaarheid en validiteit zijn twee kenmerken om de kwaliteit van onderzoek vast te stellen. Eigenlijk zijn het verzamelbegrippen, want onder de twee begrippen vallen weer specifieke vormen hiervan. Zo wordt in de literatuur onderscheid gemaakt tussen externe validiteit en interne validiteit. Maar ik laat dat even voor wat het is.

Betrouwbaarheid en validiteit in het algemeen

Betrouwbaarheid bij onderzoek
De betrouwbaarheid drukt de mate uit waarin een gekozen onderzoeksmethode consistent en herhaalbaar hetzelfde meet. Eerst een voorbeeld dat nog weinig heeft te maken met integriteitsonderzoek: een goed geijkte weegschaal meet terugkerend het juiste gewicht van iemand; bijvoorbeeld van een kind. En een (normaal) meetlint meet terugkerend dezelfde lengte.

Validiteit bij onderzoek
Dat een gebruikte methode (of instrument) betrouwbaar is, wil nog niet zeggen dat in het onderzoek het juiste instrument wordt gebruikt. Als je wilt weten hoeveel langer kinderen in een half jaar zijn worden, is het natuurlijk niet juist om een weegschaal te gebruiken. Dit wordt bedoeld met validiteit: meet je echt wel wat je wilt weten?

Het is goed om hierbij te benadrukken dat het vaak geen alles of niets is: dus dat een gekozen methode betrouwbaar / valide is óf niet. Beter is om te spreken van de mate waarin een gekozen methode betrouwbaar en valide is / het geheel van gekozen methoden betrouwbaar en valide is.


Betrouwbaarheid en validiteit bij integriteitsonderzoek

In hoeverre je bij integriteitsonderzoek kunt spreken van een betrouwbare en valide onderzoeksmethode ligt een stuk complexer. Je moet grofweg twee stappen zetten om dit goed op waarde te kunnen schatten.

Om te beginnen moet je nagaan wat de onderzoekers precies (hebben) willen onderzoeken en hoe ze dit hebben opgesplitst in deelonderzoek(jes). Als dit niet duidelijk is, dan is het ook niet mogelijk om vast te stellen in hoeverre de gekozen methoden goed waren.

Maar vaak gaat het toch om de vraag in hoeverre iemand zich integer heeft gedragen? Of over de vraag of iemand ongewenst gedrag heeft vertoond? Klopt, maar dit is nog te algemeen. Eerst moet je dit opsplitsen in allerlei deelvragen die allemaal hun eigen onderzoeksmethoden zullen kennen (en achterliggende bronnen).

Ter info. In de literatuur worden verschillende onderzoeksmethodes onderkend. De meest voorkomende indeling is in: analyseren van inhoud (analyseren van bronnen als documenten, mails, foto's, berichtjes, video's, logboeken, ...), houden van interviews, het uitzetten van enquêtes en observeren.

Een voorbeeld
Stel iemand wordt beschuldigd van het versturen van grensoverschrijdende foto's via Whatsapp. Allerlei deelvragen zou een onderzoeker moeten beantwoorden. Een van de vragen - en nog niet eens de lastigste - zal de volgende feitelijke vraag zijn: welke foto's zijn verstuurd en wat stond hierop? 

Om deze deelvraag - als deel van het feitenonderzoek - te beantwoorden, is het houden van interviews zelden geschikt. Om te weten of iemand echt foto's heeft verstuurd en wat hierop staat, zou een onderzoeker in eerste instantie de foto's zelf moeten zien. En deze opnemen in de integriteitsrapportage. 

Het houden van interviews alleen is namelijk weinig valide. Ook al leveren de interviews een consistent, herhaalbaar beeld op van wat is verstuurd. Als onderzoeker wil je meer bewijs. Je wilt met name de foto's zien (voor een inhoudsanalyse).

Maar wat nu als de foto's door alle betrokkenen verwijderd zijn?

Dan wordt het natuurlijk wel een stuk lastiger voor een onderzoeker. Kan een onderzoeker dan alleen terugvallen op interviews? Misschien, maar dan is het wel belangrijk dat de interviews een betrouwbaar beeld geven.

Denk aan standaardisatie van vragen, gebruik van controlevragen, goede training van de interviewers, het houden van interviews op verschillende tijdstippen / plaatsen, goede vastlegging, interviews met alle betrokkenen, voorkomen van afstemming, ...


Mijns inziens is dit een onmogelijke opgave. Ga maar eens met meerdere mensen dezelfde foto beschrijven. Dit geeft zelden - bij herhaling - een gelijke beschrijving. Deze methode is praktisch gezien te onbetrouwbaar om deze deelvraag te beantwoorden. Kunnen er echt niet andere methoden en achterliggende bronnen wordt ingezet voor een meer valide en betrouwbare uitkomst? In hoeverre zijn er bijvoorbeeld logbestanden (metadata), bewijs van gewiste berichten / foto's, bewijs voor andere voorvallen, ... (inhoudsanalyse dus). Dit zou het antwoord meer valide én betrouwbaar maken.

Let op: belangrijk hierbij is dat niet alleen wordt of is gezocht naar ondersteund bewijs - dus voor het scenario dat inderdaad dergelijke foto's zijn gestuurd - maar dat juist ook naar tegenbewijs is gezocht. Dat alternatieve scenario's zijn onderzocht. Kan bijvoorbeeld niet iemand anders de foto's hebben verstuurd zonder medeweten van de 'dader'? Waarheidsvinding is lastiger dan veel mensen denken.


Nu valt hier nog veel meer over te zeggen, maar dit als een eerste inleiding op deze twee begrippen.