COMPUTER SAYS NO

Door Rachel Marbus 20 dec 2016

Privacy

Nog niet zo lang geleden tweette mijnheer Akerboom (korpschef Politie Nederland) dat hij zo trots was dat data-analyse het belangrijkste middel zou gaan worden in de opsporing. Het klassieke verhoor, forensisch onderzoek alsmede ‘de tap’ zouden er allemaal niet meer zo toe gaan doen.

Alles met de mooie benaming ‘Opsporing 3.0’. Ik ben een groot voorstander van innovatie, maar dit vond ik toch echt eng worden. Data-analyse inzetten als een primair opsporingsmiddel is niet zomaar iets. Zeker als je weet dat dit middel al sinds jaar en dag omstreden is. Voor je het weet word je als vrouw preventief even vastgezet terwijl je terugkomt van je vakantie op de Antillen. Uit onderzoek bleek namelijk dat steeds meer vrouwen in de drugscriminaliteit zitten, met name uit de hoek van de Antillen. Oh, en de cijfers tonen aan dat van alle drugskoeriers 25% vrouw is. En dat was nou net aan dat algoritme toegevoegd. Dat je alleen reisde, gaf de doorslag, want dat doen doorgaans alleen de drugskoeriervrouwen en niet vrouwen die lekker op vakantie gaan.

Hoe weet je nu eigenlijk of die cijfers allemaal wel kloppen? En hoe moet je dat dan gaan toepassen? Kun je dat soort cijferkunde eigenlijk wel toepassen op iedereen? En hoe ga je dat dan in algoritmes stoppen? En hoe gaat die dan een berekening uitvoeren ofwel, op welke data wordt dat dan toegepast? Dat zijn nogal wat fundamentele vragen waarbij het antwoord niets anders kan zijn dan: dat weten we eigenlijk nooit helemaal zeker. En dan heb ik het nog niet eens gehad over wat dan bij de opsporing bedoeld wordt met het begrip dataanalyse.
Niet voor niets kent de Wet bescherming persoonsgegevens een bepaling die stelt dat geautomatiseerde beslissingen niet zonder meer toegestaan zijn. Ik citeer: “Niemand kan worden onderworpen aan een besluit waaraan voor hem rechtsgevolgen zijn verbonden of dat hem in aanmerkelijke mate treft, indien dat besluit alleen wordt genomen op grond van een geautomatiseerde verwerking van persoonsgegevens bestemd om een beeld te krijgen van bepaalde aspecten van zijn persoonlijkheid.” Onder de verordening wordt dat nog verder aangescherpt. Er moet een mens van vlees en bloed aan te pas komen. Mensen zijn bevooroordeeld. Mensen hebben een eigen normatief kader. Mensen schrijven code. Mensen geven input. De computer rekent het uit. Niets in deze keten is objectief.
Data is niet objectief. Een berekening ook niet. De uitkomst ook niet. En dit is niets nieuws! Jaren geleden al toonden onderzoekers aan dat het ontwerp van de toen veel gebruikte games zeer gekleurd was. Sterker nog: het was eigenlijk helemaal niet gekleurd. In praktisch alle games waarbij avatars konden worden gekozen, bestond slechts een optie voor ‘andere huidskleur dan wit’ (een rastafari) en waren vrouwen doorgaans altijd ‘sletten’. Wat wilde het geval? Dé gamedeveloper was wit, rond de 25-30 jaar, van westerse afkomst en man. Nu is daar gelukkig wel verandering in gekomen in de loop van de jaren, echter de kern van de bevindingen staat nog steeds overeind. Mensen zijn bevooroordeeld en werken vooral vanuit het kader dat zij kennen zelfs zonder dat zij zich daarvan bewust zijn, die bevooroordeeldheid stoppen zij in code. En om nou in de opsporing primair in te gaan zetten op bevooroordeelde data-analyses? Dit is echt geen spelletje, maar gaat om zaken van levensbelang waar grondrechten onder druk staan.