.png)
_p.png){kind=small}
Microsoft-president Brad Smith heeft vorige week op een conferentie van Stanford University aangegeven niet te willen meewerken aan een verzoek om gezichtsherkenning te leveren aan de Californische politie, uit angst voor mensenrechtenschendingen.
Het afgelopen jaar is er veel geschreven over gezichtsherkenning als toepassing van machine learning en in een eerdere blog ben ik ingegaan op de privacyimplicaties van gezichtsherkenning in een supermarkt. Maar naast privacy komen er nog andere mensenrechten in het gedrang bij het toepassen van gezichtsherkenning. Regulering is hard nodig.
Zo werd er afgelopen tijd in verschillende media ook aandacht besteed aan bevooroordeelde gezichtsherkenning die kan leiden tot discriminatie. Met name de MIT-onderzoeken van Buolamwini brachten de omvang van dit probleem in kaart.
In die onderzoeken werd aangetoond dat verschillende gezichtsherkenningssystemen van belangrijke ontwikkelaars als Microsoft en Amazon meer moeite hebben met het herkennen van het geslacht van vrouwen met een donkere huidskleur dan dat van mannen met een lichte huidskleur. Dit kwam doordat het algoritme was getraind met een dataset die voornamelijk blanke mannen bevatte. In een tweede test in 2019 waren de datasets aangepast en scoorde Microsoft weliswaar aanzienlijk beter, maar toch was het onderzoek volgens Brad Smith aanleiding om af te zien van een samenwerking met de politie. Incorrecte herkenning kan immers in een opsporingssetting leiden tot het onterecht aanhouden van mensen.
Het voorkomen van biases is slechts één van de argumenten voor regulering van gezichtsherkenning. Naast verkeerde datasets is er het probleem van wat onderzoeker aan de Data en Society Research Institute Andrew Selbst de portability trap noemt. In de computerwetenschap is het gebruikelijk systemen te ontwerpen die verschillende taken kunnen uitvoeren, maar daarbij wordt sociale context vaak genegeerd. Systemen die portable, (over)draagbaar lijken, worden ingezet in situaties waar ze niet voor bedoeld zijn. Dit kan leiden tot zeer onwenselijke gevolgen. Zo kan in de praktijk een systeem dat getest is op het vermogen om het geslacht van mensen te bepalen, terechtkomen bij een politiekorps en vervolgens worden ingezet om verdachten op te sporen. Het systeem is voor die taak niet bedoeld en heeft daardoor foutmarges die onacceptabel zijn voor een opsporingsdienst. Dit keer heeft Microsoft haar verantwoordelijkheid genomen, maar Amazons Rekognition-dienst, die in het tweede MIT-onderzoek overigens extreem slecht scoorde, is al wel in een pilot gebruikt door de politie van Orlando, ondanks het protest van haar eigen medewerkers.
Naast biases en de portability trap is er nog een belangrijk argument voor regulering: het huidige niveau van gezichtsherkenning wordt enorm overschat. In dit college laat MIT-onderzoeker Lex Fridman zien hoe dat komt: wij mensen hebben een onjuist begrip van wat moeilijk is. Als we aan de kracht van AI denken, denken we al snel aan AlphaGo of Deep Blue. Schaak- en go-computers die excelleren in abstract denkvermogen. Vergeleken met de mens is AI dan oppermachtig. Maar ons abstracte denkvermogen heeft maar 100.000 jaar gehad om zich te ontwikkelen. We zijn er simpelweg niet zo goed in. Visuele perceptie daarentegen heeft een half miljard jaar de tijd gehad om te evolueren. Het is daarom op dat gebied veel moeilijker om de prestaties van een mens te evenaren. Ter illustratie: simpele vormen van ruis kunnen een algoritme al van de wijs brengen, zoals in het voorbeeld van onderstaand afgebeeld hondje.
In dit voorbeeld identificeerde het algoritme na het toevoegen van wat ruis plaatje 3 met 99% zekerheid als een struisvogel, terwijl het plaatje 1 met 99% zekerheid identificeerde als een hond. En dit is slechts een voorbeeld, er zijn al een tijd anti-surveillance-T-shirts op de markt die algoritmes om de tuin kunnen leiden.
Conclusie: gezichtsherkenning is nog niet betrouwbaar genoeg voor kritieke situaties en er vindt momenteel geen onafhankelijke controle plaats op het deugdelijk functioneren ervan. Ondeugdelijke systemen vinden hun weg al naar de markt. Het Amazon-voorbeeld maakt dat pijnlijk duidelijk. Hoog tijd dus voor regulering om controle mogelijk te maken. Vanuit de industrie is de vraag er, de overheid is nu aan zet.