Microsoft: veel fouten in cybercrime-onderzoeken

In hun rapport 'Sex, Lies and Cybercrime Surveys' trekken auteurs Dinei Florencio en Cormac Herley een analogie met de fouten die vaak worden aangetroffen in seksonderzoeken. Dezelfde problemen doen zich voor in veel cybercrime-onderzoeken.

Het probleem hangt samen met het extrapoleren van statistische uitschieters. Bij het bepalen van een onbekende kwantiteit (de verliezen door cybercrime bijvoorbeeld) op basis van subjectieve antwoorden, kan een beperkt aantal ongewone antwoorden het resultaat zwaar beïnvloeden.

Naar bed

In seksonderzoeken vertellen de meeste mannen en vrouwen de waarheid als ze worden gevraagd met hoeveel mensen ze naar bed zijn geweest, maar een klein aantal (vooral mannen) heeft de neiging te overdrijven.

Het equivalent daarvan in cybercrime-onderzoeken betreft de zeer hoge verliezen die een kleine groep rapporteert. Deze verliezen worden vervolgens geëxtrapoleerd naar de gehele populatie. Op die manier ontstaat er een verkeerd beeld van de ervaring die het gemiddelde slachtoffer heeft.

Schadeposten

Het is voor de handliggende dat cybercrime-onderzoeken dergelijke risico's lopen, maar dat weerhoudt de security-industrie er niet van om die onderzoeken aan te grijpen als een bron van kennis en inzicht terwijl ze dat in feite niet zijn.

Zoals de auteurs stellen: de minst betrouwbare cybercrime-getallen zijn de indrukwekkende schattingen van financiële schadeposten die op het conton worden geschreven van verschillende soorten cybercrime.

Meetfouten

"Het wordt niet algemeen onderkend dat de schattingen van cybercrime-verliezen de ingrediënten voor grote meetfouten bevatten. De maatregelen tegen deze fouten worden echter vergeten", aldus de auteurs.

De auteurs adviseren om onderzoeken die niet volledig open zijn voor de gebruikte methodologie, linkt te laten liggen. Onderzoeken moeten het gemiddelde en de mediaan vermelden. Als het verschil tussen die twee te groot is, is dat een aanwijzing dat er gekke antwoorden zijn gebruikt.