Gediscrimineerd door ‘antispieksoftware’

Inleiding

De coronapandemie heeft ervoor gezorgd dat Universiteiten creatieve oplossing hebben moeten vinden voor het afnemen van tentamens tijdens de zogenoemde ‘lockdowns’. Zo ook de Vrije Universiteit van Amsterdam (de VU). De VU heeft tijdens de coronapandemie gebruik gemaakt van zogenoemde ‘antispieksoftware’. De studente in kwestie verzoekt het College van de Rechten van de Mens (het College) te beoordelen of de VU verboden onderscheid op grond van ras heeft gemaakt door voor het online surveilleren van tentamens tijdens de coronapandemie de software van Proctorio te gebruiken, en door haar discriminatieklacht hierover onzorgvuldig te behandelen.

In dit artikel worden kort de feiten van het tussenoordeel uiteengezet en wordt antwoord gegeven op de vraag wat voor impact deze uitspraak nou eigenlijk heeft.

Feiten

De studente heeft in academisch jaar 2020/21 gebruik moeten maken van de ‘antispieksoftware’ Proctorio. Het verificatieproces voorafgaand aan een tentamen ging als volgt. Allereerst dienden studenten hun studentenpas te laten scannen door de software. Hiermee werd hun identiteit (deels) geverifieerd. Vervolgens vond er een webcamcheck plaats waarbij de software, door middel van het gebruik van de webcam van de student, foto’s maakt om te controleren of er een gezicht waarneembaar was en tot slot werd er een video gemaakt van de omgeving en werkplek/bureau van de student.

Gedurende het tentamen registreerde de software de muisbewegingen en andere schermhandelingen via de functie ‘scherm delen’. Daarnaast maakte de software, via de microfoon van de computer, geluidsopnamen van eventuele spraak die in de ruimte van de student werd waargenomen.

Tot slot maakte de software gebruik van gezichtsdetectie algoritmes om te beoordelen of de student in beeld was. Vooral dit aspect is belangrijk in onderhavige zaak.

Standpunt student (verzoekster)

Bij het afnemen van tentamens heeft de studente gebruik gemaakt van de antispieksoftware. Van dergelijke software is aangetoond dat zij personen met een donkere huidskleur minder goed waarneemt dan personen met een witte huidskleur. De studente meent dat hier ook in dit geval sprake van is. Zij geeft aan dat de software tijdens het verificatieproces moeite had haar te herkennen. Hierdoor verloor zij zowel voorafgaand aan het tentamen als tijdens het tentamen tijd en dit zorgde voor stress en een gevoel van onveiligheid. De studente stelt dan ook dat de VU, door het gebruik van de antispieksoftware bij het afnemen van tentamens, haar heeft gediscrimineerd op grond van ‘ras’.

Standpunt VU (verweerster)

Naar aanleiding van de discriminatieklacht van de studente, heeft de VU navraag gedaan bij de softwareleverancier. Deze ontkent dat de software slechter werkt bij mensen met een donkere huidskleur. Ook heeft er een onafhankelijke audit plaatsgevonden bij de software. Hieruit volgt dat de software naar haar behoren functioneert. Ook ontkent de VU, na het bekijken van de loggegevens, dat de studente uitzonderlijk veel tijd zou hebben verloren door het steeds opnieuw moeten doorlopen van het verificatieproces.

Beoordeling verzoek door het College

De eerste vraag die het college beantwoord, is de vraag of er sprake is van onderscheid op grond van ras. Hiervoor is het relevant om te weten dat in gevallen omtrent verzoeken in het kader van de Algemene wet gelijke behandeling (AWGB) een verlichte bewijslast geldt. Deze bewijslast houdt in dat het aan de studente is om de feiten aan te tonen die het onderscheid op grond van ras kunnen doen vermoeden. Wanneer zij hierin slaagt, is het aan de VU om te bewijzen dat zij niet in strijd met de AWGB heeft gehandeld. De VU is het niet eens met de studenten en stelt dat er geen sprake is van onderscheid op grond van ras.

Volgens het college is het de vraag of en in hoeverre de huidskleur van de studente een rol heeft gespeeld bij de problemen die zich voordeden tijdens het verificatieproces. Voorts stelt zij dat in het belang van de effectiviteit van de gelijkebehandelingswetgeving de bewijslast zo moet worden geïnterpreteerd dat kennelijk onderscheid gestaafd kan worden onder verwijzing naar algemene(re) gegevens ‘in het geval niet van de betrokkene kan worden verwacht dat [zij] nauwkeurigere gegevens (…) overlegt, omdat dergelijke gegevens moeilijk toegankelijk of zelfs niet beschikbaar zijn voor die persoon.’ Volgens het College is dit in casu het geval. “Een persoon die toezicht ondergaat van software die gezichtsdetectie algoritmes toepast op videobeelden heeft geen effectieve mogelijkheid om de daadwerkelijke werking van de software te verifiëren of op te vragen. Bovendien heeft verweerster aangegeven dat eventuele meldingen van de software met betrekking tot ‘verdachte’ gebeurtenissen – zoals bijvoorbeeld dat een student (vermeend) uit beeld zou zijn – weliswaar werden gelogd maar dat deze logs niet aan afnemers van het tentamen werden verstrekt.”

Het college komt in dit geval tot het oordeel dat er voldoende aanwijzingen zijn voor een vermoeden van onderscheid op grond van ras. Zij acht aannemelijk dat de door de antispieksoftware toegepaste gezichtsdetectie algoritmes in de praktijk in het bijzonder personen met donkere huidskleur zullen treffen. Dit houdt niet in dat andere studenten niet om andere redenen vergelijkbare nadelen hebben kunnen ondervinden, maar wel dat er een aannemelijke kans is dat in het geval van personen zoals de studente in casu de huidskleur (mede) een rol heeft gespeeld.

Gezien de bewijslastverdeling op basis van de AWGB, ligt de bewijslast bij de VU om te bewijzen dat zij niet heeft gediscrimineerd op grond van ras zoals gesteld in de AWGB. De verweren van de VU zijn volgens het College niet voldoende om aan te nemen dat er geen sprake is van onderscheid op basis van ras. Zij stelt de VU dan ook in de gelegenheid om, door middel van controleerbare of verifieerbare gegevens en documenten, dit standpunt te onderbouwen.

Invloed uitspraak van het College

Uitspraken van het College zijn niet bindend. Het gaat hier meer om een dringend advies. Het College is dan ook niet bevoegd om bijvoorbeeld een schadevergoeding op te leggen wanneer het gaat om discriminatie. Indien de VU niks doet met het oordeel van het College, kan de studente naar de rechter stappen. De rechter beslist in deze niet alleen over de vraag of er wel of geen sprake is van discriminatie, maar kijkt ook naar andere feiten in de zaak. De uitkomst bij de rechter kan daardoor anders zijn dan de uitspraak van het College. Wel moet de rechter het oordeel van het College meenemen in haar oordeel en wanneer zij dit niet doet, dan moet dit voldoende gemotiveerd zijn.

Wel rijst de vraag of, en zo ja, welke aanpassingen er moeten worden gedaan met betrekking tot deze antispieksoftware om dit soort zaken te voorkomen. Is deze software simpelweg niet goed ontwikkeld/getraind of zijn er andere oorzaken en zijn deze oorzaken gemakkelijk op te lossen?