De digitale jungle van algoritmes

De weg die Google Maps ons vertelt te nemen, in aanmerking komen voor die ene baan of het bepalen van onze kredietwaardigheid voor een hypotheek. Onze wereld is er één die bol staat van algoritmische beslissingen en dit brengt een breed scala aan grondrechtelijke uitdagingen met zich mee. Op initiatief van VVD-kamerlid Middendorp verscheen in dit kader dan ook een nota waarin hij pleit voor toezicht, ‘We mogen mensen in deze digitale jungle niet overlaten aan de sturing van algoritmes.’ De discussie barstte los: is heldere regelgeving noodzakelijk of juist niet haalbaar?

Het wonder dat algoritmes heet: door grote hoeveelheden informatie (big data) gevoede wiskundige formules die vanuit een gegeven begintoestand leiden naar een beoogd doel. Deze ‘voorspellingen’ zijn in theorie in staat om snellere, betere en soms ook transparantere beslissingen te nemen. Tegelijkertijd kunnen Machine learning, Artificial intelligence en andere vormen van algoritmische besluitvorming evenwel de plank volledig misslaan en ondoorgrondelijk of discriminerend zijn.

Blackboxpremies

José van Dijck, hoogleraar digitale samenleving en mediacultuur aan de Universiteit Utrecht, merkte afgelopen jaar een flinke stijging (90%) van haar opstalverzekering op. Ervan uitgaande dat het een foutje bij de premieberekening betrof, nam zij contact op met de helpdesk van haar verzekeraar. ‘Nee mevrouw, dit is het gevolg van gepersonaliseerde blackboxpremies. Deze komen tot stand op basis van vaste variabelen, zoals postcode, gezinssamenstelling, woningtype en schademeldingen in een spreekwoordelijke zwarte doos te stoppen. Na algoritmische analyse komt daar vervolgens automatisch een op maat gesneden premie uit rollen.’ Benieuwd naar de redenering achter deze gepersonaliseerde premieberekening besluit Van Dijck in bezwaar te gaan. Conclusie: over de bezwaren kan worden gesproken, maar de uitkomst staat vast.

Wij mensen maken fouten, maar het algoritme heeft altijd gelijk

Steeds vaker krijgen consumenten te maken met instanties –ook publieke– die zich achter algoritmische beslissingen verschuilen. Dat bedrijven hun broncodes hierbij niet geheel willen prijsgeven is begrijpelijk. Bekendmaking kan immers concurrentiegevoelig zijn of aanleiding geven tot manipulatie. Volledige transparantie daargelaten, doen organisaties er in de praktijk echter alles aan om zo min mogelijk prijs te geven. In casu werd ook dit verzoek om inzicht te krijgen in de gehanteerde principes achter het beslissingsproces niet gehonoreerd. ‘Zorgelijk’ aldus van Dijck, ‘wij mensen maken wellicht fouten, maar het algoritme heeft altijd gelijk’.

Ook overheidsinstanties blijven niet achter. Zo zetten een aantal gemeenten al enige tijd algoritmes in om te kunnen voorspellen welke burgers bijstandsfraude plegen. In totaal worden hierbij twee- tot driehonderd variabelen meegenomen over een periode van 25 jaar. Denk hierbij aan geboortedata, uitkeringsverleden, gegevens van de Belastingdienst, verkeersboetes en gezinssamenstelling. Feitelijk de complete blauwdruk van een huishouden. Voorts schuift het algoritme, getraind op historische data van eerdere fraudegevallen, een groep mensen naar voren die vermoedelijk onterecht een uitkering zou krijgen. In de helft van de gevallen konden Sociaal rechercheurs daadwerkelijk fraude vaststellen.

Voortlevende vooroordelen

Deze vorm van data-analyse ligt wat gevoelig, met name omdat de software wordt getraind aan de hand van bekende fraudegevallen. Met andere woorden: mensen die in het verleden betrapt werden. Gegevens van een groep die de Sociale Recherche bijvoorbeeld niet opviel of te slim af was, worden in deze training dus niet meegenomen. Dataonderzoekers gebruiken daarom ook een tweede algoritme dat afwijkend gedrag registreert. Of dit het risico op voortlevende vooroordelen uit het verleden ondervangt is nog maar de vraag. Ook de juridische houdbaarheid van dit soort selecties roept vraagtekens op. In geval van ingrijpende (rechts-)gevolgen volgt uit de AVG een verbod op het automatisch beoordelen of profileren door een computer, tenzij sprake is van een menselijke beoordelaar. Kennelijk voldoet het onderzoek van een Sociaal Rechercheur hieraan, ondanks een volledig geautomatiseerde voorselectie. Daarnaast vereist de AVG transparantie, ook indien het algoritme slechts ondersteunend zou zijn. De Autoriteit Persoonsgegevens ondersteunt deze opvatting en waarschuwt eveneens voor het risico op discriminatie.

Wetgeving

Grenzen op het gebied van waarden, normen en wetgeving dreigen overschreden te worden en in reactie hierop groeit nu ook de politieke aandacht voor deze ontwikkeling. De VVD zoekt de oplossing in toezicht. Instellingen zijn dan genoodzaakt zelf kritisch naar hun gebruik van algoritmes te kijken. Vervolgens is het de bedoeling dat zij daarover communiceren door aan te tonen dat de programma’s functioneren zoals ze bedoeld zijn. Kortom, een drietrapsraket van rapportage, controle en toezicht. De nota kreeg vanuit de hoek van de advocatuur en accountancy ook met kritische reacties te maken. Het voorstel voor toezicht zou ineffectief, ondoordacht en te hoog gegrepen zijn voor onze overheid. Hoewel hier allicht iets voor valt te zeggen, kopen we daar bij de bakker geen brood voor. Uit een door KPMG gepubliceerde enquête blijkt namelijk dat 95% van de Nederlanders vóór toezicht te is. Politiek en mensen in het land en politiek lijken zich hier dus niet bij neer te willen leggen.

En de behoefte aan heldere regulering leeft breder. In een motie van D66 en het CDA werd later deze maand namelijk gepleit voor strengere regels én toezicht op rijksalgoritmes. Uit dit inmiddels aangenomen voorstel volgt dat ambtenaren bepaalde gegevens moeten kunnen checken en dat dit proces naderhand kan worden gecontroleerd door een toezichthouder. Opvallend genoeg stemde coalitiepartner VVD tegen de motie. Met een overdaad aan analyses vooraf, vreest de partij ervoor dat IT bij de overheid geheel stil komt te liggen.

Misbruik van algoritmes ligt altijd op de loer en wat beide kampen in ieder geval delen, is de vrees voor het verlies van grip op algoritmes. Een vrees die ik deel. Dit probleem op de politieke agenda zetten is nodig en het debat wat mij betreft uiterst zinvol. Hierbij kan echter wel worden afgevraagd of het verkrijgen van inzicht in algoritme-gedreven technologieën de juiste insteek is. Het gaat tenslotte om de data, de formules die de instructies vormen zijn op zichzelf helemaal niet zo spannend. In zijn blog pleit ICT-jurist Engelfriet dan ook voor een keurmerk voor trainingsdata die correct, eerlijk en volledig moet zijn, in plaats van een waakhond op algoritmes. Foute data erin, of dat nu vooringenomenheid, kortzichtigheid, selectiviteit of typefouten betreft, betekent immers ook foute data eruit. Een opvatting waar ik mij enkel bij aan kan sluiten. Laten we de problemen bestrijden bij de bron ‘it’s the data, stupid’.