Onlangs werd Matthijs Pontier geïnterviewd door EenVandaag over ‘slimme steden’. Technologie biedt zeker kansen voor mooie toepassingen, maar door het verdienmodel van bedrijven en de controledrang van overheden wordt het vaak verkeerd ingericht en gebruikt om ons te controleren en manipuleren. Laten we samen in een co-creatie onze ‘slimme stad’ ontwerpen, zodat we de voordelen en risico’s eerlijk delen. De gebruiker is uiteindelijk de beste ontwerper.
Democratische controle is nodig
Tijdens de voorbereiding van het interview werden twee voorbeelden genoemd: het ‘Stratumseind Living Lab’ in Eindhoven, en de ‘Schwung’ app, waarmee je het stoplicht laat weten dat je eraan komt. Op beide projecten is veel aan te merken. Bij het Living Lab werd van alles gemeten. Camera’s en sensoren, maar ook social media monitoring, herkomst bezoekers en wifi-tracking werden gebruikt. De politie mocht hier gewoon mee gaan spelen, zonder beleid. Bezoekers werden zo proefdieren voor een politie die naar hartenlust op hen kon experimenteren. Op geen enkele manier werd de privacy geborgd of voorkomen dat gediscrimineerd zou gaan worden. Democratische controle ontbrak.
Ga uit van privacy by design
De ‘Schwung’ app viel vooral op omdat het zo overduidelijk is dat er een privacyvriendelijker en inclusiever alternatief bestaat, waarbij je geen app hoeft te installeren; laat staan daar gegevens aan af te staan. Bij ‘Schwung’ moet je een app installeren zodat het stoplicht weet dat je eraan komt en daarom al van tevoren op groen kan gaan. Deze methode sluit mensen uit die geen app willen installeren, omdat ze bijvoorbeeld niet willen dat hun locatiegegevens, bedoeld of onbedoeld, uiteindelijk bij een fastfoodrestaurant of zorgverzekeraar terechtkomen. Zeven van deze ‘iVRI-stoplichten’ (“intelligente verkeersregelinstallaties”, red.) zouden een miljoen moeten gaan kosten. Voor dat geld kun je ook een aantal verkeerssensoren aanleggen, of thermische camera’s ophangen. Beide meten wel of en hoeveel personen ergens zijn, maar meten niet wie, wanneer, op welke locatie is. Een alternatief met privacy by design is prima beschikbaar en eigenlijk nog een stuk simpeler ook. Schwung is dus een schoolvoorbeeld van hoe het niet moet!
Risico op raciaal profileren
In steden worden natuurlijk al langer veel gegevens over ons vastgelegd. Van sommigen wordt bijgehouden hoeveel huisvuil ze produceren via een ‘huisvuilpas’. Ons reisgedrag wordt vastgelegd via de OV-chipkaart en camera’s met automatische nummerplaatherkenning (ANPR). Recent zijn daar ook de eerste camera’s met gezichtsherkenning aan toegevoegd. Deze worden onder andere al in het OV gebruikt om bepaalde mensen te weren. Ook sommige bodycams worden inmiddels uitgerust met gezichtsherkenning. In een strafrechtdatabase van ‘zware misdrijven’ staan inmiddels gezichten van 1,3 miljoen ‘verdachten van zware misdrijven.’ Aangezien er (gelukkig) bij lange na niet zoveel zware misdrijven worden gepleegd, blijkt duidelijk dat hier veel onschuldige mensen in staan, waaronder veel asielzoekers.
Anonieme data is niet zo anoniem
Veel fabrikanten beweren dat ze gegevens anonimiseren, maar de wetenschap bevestigt dat dit eigenlijk niet bestaat. Wanneer verschillende gegevens van een onbekend individu worden gekoppeld aan een andere gegevens, worden die vaak wel degelijk herleidbaar tot de persoon. En gegevens komen nogal eens op straat te liggen, dus uiteindelijk is het heel moeilijk te garanderen dat je gegevens niet voor hele andere doeleinden gebruikt worden, zelfs al geloof je volledig in de goede intenties van de fabrikant.
Sluipenderwijs wordt de democratie ondermijnd
Daarnaast blijkt er regelmatig sprake van ‘function creep’. Gegevens die eerst voor een bepaald doeleinde gebruikt worden, worden later vaak voor heel andere doeleinden gebruikt. Een recent voorbeeld hiervan zijn de milieucamera’s in Amsterdam. Eerst werden deze enkel gebruikt om vuile dieselauto’s uit milieuzones te weren, maar inmiddels is gebleken dat de politie al jaren meekijkt om verdachten op te sporen, zonder dat dit was bekendgemaakt.
Dat onze gegevens, bedoeld of onbedoeld, bij bedrijven en overheden terechtkomen die eigenlijk niets te maken hebben met de oorspronkelijke toepassing, is een groot probleem.
Zowel overheden als bedrijven gebruiken dit soort gegevens namelijk om ons gedrag te manipuleren. Bedrijven manipuleren ons koopgedrag. Zij maken misbruik van onze zwakheden om ons dingen aan te smeren. Met je locatiegegevens kan een fastfoodketen bijvoorbeeld proberen je een hamburger aan te smeren, net als je van de sportschool komt en daar erg trek in hebt. Terwijl je waarschijnlijk juist geen vette hamburger wilt eten als je net naar de sportschool bent geweest, als je daar van tevoren goed over zou nadenken. Het is zelfs mogelijk dat, op basis van je social media-activiteit, herkend wordt wanneer je in een emotioneel zwak moment bent, omdat je bijvoorbeeld net een vervelend bericht hebt gelezen, en dat je juist dan verleid wordt tot het kopen van iets wat je eigenlijk niet wilt. Dit probleem moet niet onderschat worden. Een kwart van de mensen is koopverslaafd. Met name door online impulsaankopen. Daarnaast is er veel aandacht geweest voor het manipuleren van ons stemgedrag door politieke partijen, bedrijven en opportunisten, door misbruik te maken van grotendeels onbewuste processen. Op deze manier wordt dus ook de democratie ondermijnd.
Geen handel in persoonlijke gegevens
Overheden en (semi-)overheidsinstellingen gebruiken dit soort gegevens vooral om ons te controleren en ‘ons gedrag in goede banen te leiden’. Dit is misschien vaak met de beste bedoelingen, maar hier spelen veel ethische kwesties. Wie bepaalt precies wat goed gedrag is, en waarom?
Wanneer ben je mensen aan het helpen met het bereiken van het doel wat ze zelf willen, en wanneer ben je als overheidsinstantie mensen aan het manipuleren tot doelen die je als overheid misschien voor ogen hebt, maar die helemaal geen doelen zijn van het individu zelf? De apps van verzekeraars die je korting geven als je bijvoorbeeld veilig rijdt of gezond eet en genoeg sport schieten momenteel als paddenstoelen uit de grond. Hiervoor moet je allerlei gegevens delen, en dit betekent dus dat persoonlijke gegevens als handelswaar worden gezien. Terwijl het mensenrecht privacy niet verhandelbaar zou moeten zijn. Net als dat er bijvoorbeeld hele goede redenen zijn dat mensen hun nier niet voor geld mogen verkopen, vanwege het recht op lichamelijke integriteit. Daarnaast kun je je afvragen of mensen met bijvoorbeeld een impulsieve persoonlijkheid niet benadeeld worden door zulke apps, en of het sociale principe achter verzekeren niet verdwijnt, als iedereen uiteindelijk voor zijn eigen risico opdraait.
Maak profiling-algoritmes transparanter
Ook worden gegevens steeds vaker aan elkaar gekoppeld om allerlei risicoprofielen op mensen te plakken. Een recent voorbeeld hiervan is SyRI, waar allerlei mensen als fraudeur worden bestempeld. Vaak ten onrechte, en op een volledig ondoorzichtige manier, op basis van een enorme vergaarbak aan persoonlijke gegevens. Groepen die al zwakker stonden in de samenleving werden veel vaker gedupeerd. Volledig terecht dat hier onlangs een rechtszaak tegen werd gevoerd. Wij zijn erg benieuwd naar de uitspraak, begin 2020.
Bewijslast wordt steeds vaker omgekeerd. Een systeem beschuldigt mensen en vervolgens wordt de bewijslast bij hen gelegd om te bewijzen dat dat niet zo is. De recente toeslagenaffaire laat pijnlijk zijn hoe levens kapotgemaakt kunnen worden door dergelijke valse beschuldigingen. Mensen moesten tienduizenden euro’s onterecht terugbetalen. Soms zelfs een ton. Mensen werden meer dan tien jaar lang in ellende gestort. Sommigen verloren hun huis, of hun auto. Huwelijken liepen stuk. Al die tijd werd hen het gevoel aangepraat dat zij iets fout zouden hebben gedaan. En als zij na jarenlange strijd eindelijk inzage krijgen in hun dossier, krijgen zij dit grotendeels zwartgelakt terug. En ook bij deze affaire bleken mensen die al zwakker stonden in de samenleving, en ook mensen die een niet-Westerse afkomst hadden, relatief veel vaker te worden gedupeerd. Ook bedrijven gebruiken steeds vaker dit soort profiling-algoritmes om beslissingen over mensen te maken, bijvoorbeeld om te bepalen of je een bepaalde lening of verzekering mag hebben. Zowel overheden als bedrijven zullen een totaal andere houding moeten aannemen en transparanter moeten opereren om het vertrouwen bij burgers te herstellen.
Voer verbod in op gezichtsherkenning
Ten slotte kunnen veel andere rechten in het geding komen als gegevens door overheden voor andere doeleinden worden gebruikt. Opsporingsdiensten zullen bijvoorbeeld bijzonder geïnteresseerd zijn om locatiegegevens te gebruiken om een demonstratiedatabase aan te leggen, waarmee ze vervolgens kunnen bepalen of ze mensen extra in de gaten moeten houden, bijvoorbeeld omdat ze wel eens een actie zouden kunnen organiseren om Shell plat te leggen. Wie durft nog te demonstreren als het algemeen bekend is dat je dan het risico loopt in zo’n database terecht te komen? Zeker als hiervoor ook camera’s met automatische gezichtsherkenning worden gebruikt, en als eis voor een demonstratie wordt meegegeven dat je herkenbaar meeloopt, ‘vanwege veiligheidsoverwegingen’? Dit zou een grote inperking van het demonstratierecht betekenen. Op deze manier kom je dan al snel in een totale controlesamenleving terecht, zoals we nu in China al gedeeltelijk zien gebeuren. Het zou dan ook goed zijn nu zo snel mogelijk een verbod op gezichtsherkenning voor handhaving in te voeren, zoals recent al in San Francisco is gebeurd.
Ontwerp volgens open source-principes
Vaak zijn er goede alternatieven beschikbaar, waarbij niet meer persoonlijke gegevens worden verzameld dan nodig. Zo kun je bijvoorbeeld denken aan nummervakparkeren in plaats van kentekenparkeren. Hierbij betaal je anoniem voor een nummervak, in plaats van dat vastgelegd moet worden welke auto, waar, wanneer parkeert. Bovendien maakt dit het parkeersysteem socialer, omdat je ook voor een ander kunt betalen. Bijvoorbeeld voor gasten die bij je op bezoek komen. Om privacy by design goed toe te passen is het noodzakelijk dat open source-principes worden toegepast, zodat iedereen kan controleren dat het systeem inderdaad zo werkt als wordt beweerd.
Bewoners de baas in de slimme stad
De ‘slimme stad’ is uiteindelijk een technologisch systeem dat bestaat rondom mensen. Om te zorgen dat deze technologie de belangen van deze mensen dient, is het belangrijk dat bewoners aan tafel zitten bij het ontwerp van de slimme stad. Ontwerp de stad samen met en in co-creatie met alle belanghebbenden. De gebruiker is uiteindelijk de beste ontwerper. Bovendien maakt dit mensen direct meer bewust van de technologie om hen heen en hoe gegevens gebruikt zouden kunnen worden om hen te beïnvloeden. Dit ‘data-bewustzijn’ is belangrijk om samen betere beslissingen te maken over hoe we met de gegevens om willen gaan die we uiteindelijk samen produceren.
