Mystieke AI
Iemand moet Josef K. belasterd hebben, want zonder dat hij iets kwaads had gedaan, werd hij op een morgen gearresteerd. De eerste regel van de roman Het Proces van Franz Kafka opent een paranoïde universum dat we geneigd zijn als iets uit een ver verleden te zien. Een tijd toen burgers nog weerloos konden zijn tegenover de macht van de staat.
En toen was het 2020. Het jaar dat ongetwijfeld de geschiedenis ingaat als het jaar van de pandemie. Maar ook het jaar waarin de rechter een stokje moest steken voor SyRi, het systeem dat diverse overheden wilden inzetten om databases te koppelen met informatie die zo’n beetje alle levensterreinen bestrijken. Met slechts één doel: fraude opsporen. Het bleek een prelude naar wat al langer speelde, maar toen ongemeen aan de oppervlakte kwam: de toeslagenaffaire. Het kon niet duidelijker worden hoe de datahonger van overheidsinstituties en ‘sleepnet AI’ een verwoestend effect kan hebben. En ook hoe moeilijk het is om af te stappen van het heilige geloof in techniek en eigen beleid, om te doen wat moest gebeuren: luisteren, recht doen.
Nu is er uiteraard niets mis met systemen om fraude op te sporen. Er is sowieso niets mis met de toepassing van AI door de overheid – landelijk en lokaal – om het leven aangenamer, efficiënter of gezonder te maken. De vraag is alleen hoe. De combinatie van ondoorzichtigheid, gebrek aan ethische reflectie tijdens het ontwerp en een rücksichtslose vervolgingsdrang, is ronduit griezelig. En hoewel dat na 2020 nauwelijks te negeren valt (zou je zeggen), is er geen enkele garantie dat hieruit lessen zijn getrokken. Daarvoor is het gebruik van AI door overheden ook te willekeurig; elke gemeente heeft zo haar eigen project, van vroegtijdig opsporen van kindermisbruik (Tilburg) tot voorspellen in welke wijk depressies vaker voorkomen (Kerkrade).
Het is daarom goed om de diepere betekenis van Het Proces te verkennen. De joodse theoloog Gershom Scholem beschrijft het zo: een wet of regel die geldt, maar geen betekenis heeft: Geltung ohne Bedeutung. In het boek probeert K. zijn onschuld te bewijzen, maar zijn wereld en die van het proces zijn totaal verschillend. In de wereld van K. – die tevens die van ons is – vormen woorden samen een betekenisvol geheel. Er zijn gevolgtrekkingen en bewijzen, oorzaken en gevolgen, premissen en conclusies. Maar het proces vormt een ondoorgrondelijk patroon van correlaties, dat hoe dan ook doorgang vindt – als een programma. Hoe dat kan werken met AI, is beklemmend beschreven door de Amerikaanse onderzoeker Virginia Eubanks in Automating inequality. Daarin laat ze zien hoe in de VS door algoritmen bepaalde bevolkingsgroepen steeds verder de marge in worden gedrukt. In wijken met veel zwarte inwoners patrouilleert de politie vaker, waardoor er meer data beschikbaar zijn over de inwoners. Die data leiden tot meer voorspellingen over misdaad, en dus tot meer patrouilles. De betekenisvolle conclusie dat je die voorspellingen niet kunt terugvoeren tot individuele burgers en dat het leidt tot stigmatisering, heeft geen plek. Er ontstaan feedback-loops, die hoe dan ook steeds weer worden afgewikkeld.
Daarom is het zo belangrijk om steeds weer na te denken over wat het gebruik van AI betekent, vooral ook in het leven van alledag. Er moet een plaats aan die betekenis worden geboden, zowel in de ontwerpfase als in beleid en tijdens gebruik. Maar hoe doen we dat? Misschien door een zekere bescheidenheid over wat we van AI kunnen verwachten – de WRR noemt dat demystificatie. Juist als we beseffen wat AI niet kan, hebben we beter grip op wat er wel mogelijk is.
Terecht. Maar mystiek is een link begrip. We denken snel dat het mysterieuze wel verdwijnt als we het beter begrijpen, als de zaken ‘transparant’ zijn. Maar zeker als AI een ‘systeemtechnologie’ is, zoals de WRR in dit rapport terecht stelt, die steeds intiemer verweven raakt met het dagelijkse leven, dan is het maar de vraag tot hoeverre die transparantie mogelijk en wenselijk is. Als iets immers niet transparant is, dan is het wel het dagelijkse leven. We kunnen lang niet altijd de motieven van onze eigen handelingen benoemen, laat staan de gevolgen – zeker in omgang met anderen. Waarom zouden we dat wel van AI verwachten? Is niet juist het gevaar dat we van AI een voorspelbaarheid verlangen die niet strookt met de dagelijkse wereld, maar die niettemin wordt doorgevoerd? Een gelding zonder betekenis.
Wat geeft het leven betekenis? Dat is de diepere vraag van Het Proces. En misschien is het antwoord juist het mystieke. Gedurende het verhaal strompelt K. verder naar de voorspelbare afgrond. Het is een gesloten wereld, weliswaar absurd, maar waarin voor mystiek geen plaats is. Mystiek kan de wereld juist openbreken, omdat er zich onverwacht nieuwe mogelijkheden aandienen. Iets wat het begrip te boven gaat, en wat zich zeker niet laat voorspellen of reduceren tot een risicoprofiel.
Wat als we het omdraaien, en AI niet alleen demystificeren, maar compatibel laten zijn met deze mystiek? Dat is niet de mystiek van de alles sturende cockpit, het dashboard waarmee we alle maatschappelijke problemen laten verdwijnen. Maar de mystiek waarin steeds weer nieuwe, onverwachte betekenissen opkomen, in interactie met een samenleving. Misschien dat we pas dan AI écht verwelkomen. En we hoeven dan ook niet bescheiden te zijn over de mogelijkheden van AI, die oprecht wonderbaarlijk kunnen zijn.
Daarom beschrijft dit rapport terecht dat we naar context en toepassing moeten kijken. We hoeven niet altijd alles te doorzien, zo lang we oog houden voor de omgeving en het effect – en daarin kunnen bijsturen. Techniekfilosofen als Bruno Latour en Peter-Paul Verbeek wijzen er op dat technologie altijd iets teweegbrengt wat vooraf niet was te voorspellen. Het verandert onze verhouding tot elkaar en de wereld. Wie had bijvoorbeeld vijftien jaar geleden kunnen denken dat een relatief eenvoudig programma als AirBnB zo’n effect zou hebben op onze oude binnensteden?
Ik denk dat dit onverwachte goed in beleid is door te voeren. Bijvoorbeeld door altijd de mogelijkheid te bieden aan inspraak, iteratie en bijsturing. En misschien zelfs voor geheel nieuwe toepassingen. Daar horen waarden bij – niet per se transparantie, maar waarden die sociale omgang benadrukken, zoals fairness, proportionaliteit, wederkerigheid, openheid, nieuwsgierigheid en gastvrijheid. Luisteren – om op de toeslagenaffaire terug te komen.
Het zijn woorden die bij Kafka hun betekenis hebben verloren. Maar ik ben wel benieuwd wat er gebeurt als ze leidend zouden zijn in ontwerp, uitvoering en beleid bij AI.
Leon Heuts is hoofdredacteur NEMO Kennislink en voormalig hoofdredacteur van Filosofie Magazine.