AI faalt niet omdat het dom is. Het faalt zoals wij dat doen: snel, vlot en volledig overtuigd van zichzelf, ook als het ernaast zit. Kahneman noemde dat Systeem 1, en de modellen van nu worden getraind om zich precies zo te gedragen.
Het grootste risico zit aan onze kant van het scherm: ons eigen Systeem 1 vertrouwt maar al te graag een antwoord dat er perfect uitziet. De oplossing is niet minder AI. Het is AI die is ingericht als een goed team. Lees verder om te zien hoe.
De man die een boek schreef over overmoed
In 2011 publiceerde Daniel Kahneman zijn boek Thinking, Fast and Slow. Een Nobelprijswinnaar met tientallen jaren ervaring in hoe menselijk oordeel altijd de mist in gaat, en een van de meest invloedrijke boeken over besluitvorming. Ik heb het een tijd geleden gelezen. Jij hopelijk ook, of je wilt het in elk geval lezen.
Hoofdstuk 4 van het boek gaat over priming: het idee dat subtiele prikkels in onze omgeving ons gedrag veranderen zonder dat we het doorhebben. Kahneman presenteerde het bewijs als overweldigend. Lezers hadden geen keuze dan het te accepteren (aldus hij).
Daarna probeerde het vakgebied die studies te repliceren in de praktijk, en veel daarvan faalden. In 2017 namen drie onderzoekers het hoofdstuk nog eens door en ontdekten dat 11 van de 12 aangehaalde papers berustten op statistisch zwak bewijs.
Kahneman reageerde in de comments op hun blog. Dat hij het met hen eens was. Hij had “too much faith in underpowered studies” gesteld, schreef hij, en hij wees zelf op de ironie: zijn allereerste paper met Amos Tversky ging over precies die fout.
Laat dat nog even tot je doordringen. De man die de wereld leerde hoe overmoed wij zijn, was overmoedig. In zijn eigen boek.
Ik vertel dit niet om Kahneman af te kraken. Zijn reactie is naar mijn mening een van de eerlijkste dingen die een wetenschapper van zijn formaat ooit publiek heeft gedaan. Ik vertel het alleen omdat het precies de kern van deze post is: niemand ontsnapt aan Systeem 1. Nobelprijswinnaars niet, ik niet, en zeker de machines waarmee ik nu dagelijks werk niet.
De vraag is dus niet hoe je een AI vindt die nooit fouten maakt. Die AI bestaat niet. De vraag is hoe je een systeem bouwt dat de fouten tóch vangt. Daar komt goede AI om de hoek kijken. Maar eerst de twee personages van ons verhaal.
Twee personages
Kahneman beschrijft de menselijke hersenen als twee systemen. Hij is er heel expliciet over dat het fictieve personages in een verhaal zijn, geen specifieke plekken in je brein.
Systeem 1 is het snelle systeem, het werkt automatisch en moeiteloos. Het leest een gezicht, maakt een zin af, ontwijkt een kuil in de weg. Het stopt nooit en twijfelt nooit aan zichzelf. Het produceert indrukken, en produceert die met de grootste zelfverzekerdheid.
Systeem 2 is traag, bewust en doordacht. Het kan staartdelingen maken, contracten controleren en de auto in een krap parkeervak manoeuvreren. Het kan Systeem 1 overrulen, maar meestal doet het dat niet. Kahneman noemde Systeem 2 in zijn boek lui: het keurt goed wat Systeem 1 doet, tenzij iets Systeem 2 dwingt om echt goed te kijken.
Een klassieker is een klein, bekend raadsel waarover hij in zijn boek schreef. Een knuppel en een bal kosten samen $1,10. De knuppel kost $1,00 meer dan de bal. Hoeveel kost de bal?
Je Systeem 1 heeft al geantwoord: 10 cent. Dat is fout. Als de bal 10 cent kost, kost de knuppel $1,10 en is het totaal $1,20. De bal kost 5 cent. Kahneman schreef dat meer dan de helft van de geteste studenten aan Harvard, MIT en Princeton het foute antwoord gaf. Niet omdat ze de wiskunde niet konden, maar omdat het foute antwoord aanvoelde als het goede antwoord en Systeem 2 nooit in actie kwam.
Houd die gedachte vast: een antwoord dat goed voelt, meteen verschijnt, zonder ook maar enig signaal dat er iets niet klopt. Het is ook een behoorlijk goede beschrijving van hoe een large language model werkt.
Het Systeem 1 van de machine
Een taalmodel schrijft één karakter per keer, elk volgend karakter is de meest voor de hand liggende voortzetting van wat ervoor kwam. Er is geen enkel moment waarop het pauzeert en zich afvraagt of het er wel zeker van is. Het is vlot geformuleerd. En vlotheid, dat liet Kahneman al zien, is precies wat dingen legitiem laat voelen.
Waarom is AI zo zelfverzekerd? Onderzoekers van OpenAI stelden vorig jaar dat modellen gokken omdat wij ze zo getraind hebben. Training en benchmarking belonen alleen correcte antwoorden en geven geen punten voor “ik weet het niet”. Zo scoort gokken altijd hoger dan twijfel toegeven. Hetzelfde gebeurt bij een student die een meerkeuze-examen maakt: het model leert dat een zelfverzekerde gok beter scoort dan een eerlijk leeg antwoord. Overmoed is geen bug die er per ongeluk insloop. Het is waar we voor betaald hebben en stiekem willen.
Het resultaat is een machine met drie zeer Kahneman-achtige gewoontes.
What you see is all there is. Ook wel bekend als WYSIATI: Systeem 1 bouwt je het meest overtuigende verhaal dat het kan maken van de informatie die het voor zich ziet, en vraagt nooit welke informatie er misschien ontbreekt. Een model doet precies hetzelfde met zijn context window. Geef het de helft van de feiten en je krijgt nog steeds een compleet antwoord, geen lijst met wat het eigenlijk nodig zou hebben om de vraag beter te beantwoorden.
Substitutie. Bij een moeilijke vraag geeft Systeem 1 stilletjes antwoord op een makkelijkere vraag, zonder dat je het doorhebt. “Moet ik in dit bedrijf investeren?” wordt “Vind ik dit bedrijf eigenlijk leuk?” Modellen vertonen hetzelfde gedrag. Vraag of een plan gaat werken en je krijgt vaak antwoord op de vraag of het plan redelijk klinkt.
Causaliteit zonder causaal denken. Onderzoekers van de TU Darmstadt noemden taalmodellen causal parrots: ze kunnen oorzaak-gevolgrelaties uit hun trainingsdata opdreunen zonder daadwerkelijk oorzaak en gevolg te modelleren. Prima zolang je causale keten in het tekstboek staat. Gevaarlijk zodra jouw situatie er niet in staat.
En toen leerden ze AI de trucjes
Hier valt de makkelijke versie van dit verhaal uit elkaar. Je kunt het knuppel en bal raadsel niet meer in een modern model plakken en het zien mislukken.
In 2023 gaven Thilo Hagendorff, Sarah Fabi en Michal Kosinski cognitive reflection tests zoals de knuppel en bal aan tien OpenAI-modellen en 455 mensen. Naarmate de oudere modellen groter werden, maakten ze steeds meer van dezelfde intuïtieve fouten als mensen. Toen kwam ChatGPT en verdwenen de fouten grotendeels, zelfs als de modellen het probleem niet stap voor stap mochten doordenken. De onderzoekers voegen een terechte kanttekening toe: deze nieuwere taalmodellen hebben deze raadsels mogelijk simpelweg tijdens de training gezien.
Kregen de taal modellen dus een Systeem 2? Deels. De redeneer-modellen van nu schrijven hun denkproces uit voordat ze antwoorden, wat de onderzoekers vergelijken met iemand die een notitieblok gebruikt om langzaam denken te ondersteunen. In de praktijk helpt dat zeker. Maar twee andere conclusies moet je hier niet uitvlakken.
Ten eerste kan redeneren het probleem verbergen in plaats van oplossen. Een studie uit 2026 naar sycophancy, de neiging om mensen te vertellen wat ze willen horen, vond dat stapsgewijs redeneren de neiging om mensen naar de mond te spelen over het geheel genomen verminderde. Maar in sommige gevallen bouwde het model een overtuigend ogende rechtvaardiging voor het meest gewenste antwoord, compleet verzonnen, met logische gaten, rekenfouten en eenzijdige argumenten. Kahneman heeft daar voor mensen een beschrijving van: Systeem 2 gaat optreden als predikant van Systeem 1 in plaats van als criticus. Wie wil er nu toegeven dat zijn eigen woorden fout zijn? We verdedigen ze liever.
Ten tweede is de zichtbare redenering niet altijd de echte redenering. Toen onderzoekers hints in vragen verstopten, erkende Claude 3.7 Sonnet de hint in zijn redenering maar in ongeveer een kwart van de gevallen, DeepSeek-R1 in 39 procent.
In 2026 volgde een vervolgonderzoek over twaalf open-weight modellen, met percentages tussen ruwweg 40 en 90 procent, afhankelijk van het model. De notitieblokfunctionaliteit is echt. Het is bij AI alleen niet altijd het notitieblok dat echt voor het antwoord is gebruikt.
De fouten zijn niet verdwenen. Ze zijn verplaatst: weg van de beroemde raadsels die overal op het internet staan, naar de plekken waar geen draaiboek bestaat. En voor wie een echt bedrijf heeft, zijn dat de meeste plekken.
De gevaarlijkste momenten zijn niet wanneer AI een fout maakt. Het is wanneer Systeem 1 van de AI jouw eigen Systeem 1 ontmoet.
Je eigen Systeem 1 is het echte risico
De meeste teksten en onderzoeken over AI-fouten stoppen bij de machine. Ik denk dat het grotere probleem aan mijn kant van het scherm zit.
Kahneman beschrijft cognitief gemak: als iets makkelijk te verwerken is (duidelijk, vertrouwd, netjes opgemaakt), zijn we sneller geneigd het te geloven. AI-output is de cognitief makkelijkste tekst die ooit geproduceerd is. Perfecte grammatica, zelfverzekerde toon, strakke structuur, elke keer weer. Je Systeem 1 heeft niets om aan te haken.
En Systeem 2, weet je nog, is lui. In 2024 verscheen een experiment in Computers in Human Behavior. Alleen al weten dat advies van een AI kwam, was genoeg om mensen er zwaar op te laten leunen. Ze volgden het door de AI gegenereerde antwoord zelfs als het de informatie die vlak voor hun neus lag tegensprak.
De gevaarlijkste momenten zijn dus niet wanneer AI een fout maakt. Het is wanneer Systeem 1 van de AI jouw Systeem 1 ontmoet. Een snel, vlot, zelfverzekerd antwoord landt op een vermoeid brein om kwart voor vijf, en twee systemen die uit zichzelf nooit twijfelen schudden elkaar de hand over het resultaat.
We zijn hier eerder geweest. Toen het internet kwam bijvoorbeeld, moesten we allemaal leren welke bronnen we konden vertrouwen, op de praktijk manier: kettingmails, nepnieuwssites, dubieuze forums. Dat kostte ons een decennium of twee, en genoeg mensen hebben nog steeds niet geleerd welke informatie te mooi is om waar te zijn. Maar toen zag slechte informatie er ook slecht uit. Een twijfelachtige website zag er doorgaans twijfelachtig uit. AI heeft dat signaal volledig weggehaald: het foute antwoord is exact zo opgemaakt als het juiste. AI informeert een beslissing niet alleen, hij voert hem ook uit. Hij verstuurt die e-mail, draait die migratie, boekt dat ticket.
De leercurve is dezelfde als bij het internet. De schade-radius is alleen véél groter.
Bestrijd AI met AI, en organiseer het
Ik ben er zeker van dat dit de toekomst is die ons te wachten staat. AI gaat niet weg, en het antwoord op slechte AI is niet minder AI. Het is juist méér AI. Maar dan goed georganiseerd. Het antwoord op slechte websites was ook niet het internet uitzetten? Het kwam met zoekmachines die legitieme websites hoog plaatsten, reputatie, verificatie en, langzaam, een bevolking die leerde bronnen te lezen.
Kahneman gaf zelf de blauwdruk, in de slotpagina’s van zijn boek. Over individuen was hij behoorlijk pessimistisch: na decennia onderzoek naar deze biases gaf hij toe dat zijn eigen intuïties er nauwelijks minder gevoelig voor waren. Over organisaties had hij meer hoop, omdat die kunnen vertragen en procedures kunnen opleggen die individuen overslaan. Dat is de omslag waar ik naar op zoek ben. Stop met AI te behandelen als één briljante assistent. Ga het behandelen als een organisatie die je zelf ontwerpt: rollen, controles, escalatie, geheugen.
Eén waarschuwing voordat je dit bouwt: laat een model niet zijn eigen huiswerk nakijken. Onderzoek naar “LLM-as-a-judge”-opstellingen laat zien dat taalmodellen content van zichzelf, of van hun eigen modelfamilie, hoger beoordelen… Er zit echter wel een nuance in. Als krachtige modellen hun eigen antwoorden verkiezen, komt dat meestal omdat die antwoorden ook echt beter waren. Maar als een krachtig model ernaast zit, is de kans groter dat het bij zijn eigen foute antwoord blijft dan bij een zwakker model. Dat zijn precies de gevallen waar het om gaat. Je kritiek moet dus uit een andere modelfamilie komen, met een andere rol en een compleet andere vraag. Je kunt nooit leunen op één door een model gegenereerd antwoord.
De spelregels
Tien regels om een Systeem 2 om je eigen AI heen te bouwen. Elke regel sluit aan bij iets dat Daniel Kahneman beschreef.
- Breng het mijnenveld in kaart. Kahnemans meest praktische advies: je kunt Systeem 1 niet uitzetten, maar je kunt wel leren herkennen in welke situaties het mis dreigt te gaan, en daar vertragen. Voor AI moet je hetzelfde doen. Sorteer je taken op wat een fout kost: cosmetisch, duur of fataal. Een typefout in een social mediapost is puur cosmetisch. Een visumvereiste, een contractclausule of een productiedatabase is dat niet. Elke regel hieronder geldt met meer kracht naarmate je verder op die schaal komt.
- Laat “ik weet het niet” lonen. Modellen gokken omdat gokken wordt beloond. Draai de prikkel om in je instructies: “ik weet het niet zeker, en dit heb ik daarvoor nodig” is een goed antwoord, een zelfverzekerde gok is een mislukking. Zet dat in je system prompt of rules file, niet alleen in je hoofd. Vraag bij alles door wat je niet kunt plaatsen.
- Vraag wat** er**** ontbreekt.** Bestrijd WYSIATI met één standaardvraag: “Welke informatie heb je niet die dit antwoord waarschijnlijk zou kunnen veranderen?”
- Controleer welke vraag er echt beantwoord is. Bestrijd verkeerd beantwoorde vragen door het model eerst de vraag te laten herformuleren die het feitelijk beantwoordde, voordat je het antwoord accepteert. Je zult ervan opkijken hoe vaak dat niet jouw vraag is.
- Doe een premortem. De techniek van Gary Klein, die Kahneman aanprijst. Vraag niet “wat kan er misgaan?”, maar zeg: “Het is zes maanden later en deze beslissing is mislukt. Vertel me hoe dat kwam.” Die omkering is de kern: als je mislukking als feit behandelt in plaats van als mogelijkheid, komen er meer oorzaken boven. Bij mensen maakt het twijfel veilig om uit te spreken. Bij een model haalt het de makkelijke uitweg weg om je gerust te stellen dat het plan grotendeels prima is.
- Bekijk het van buitenaf. Kahnemans recept tegen de planningsdenkfout: voordat je dit geval beoordeelt, vraag je af hoe vaak vergelijkbare gevallen misgaan. “Hoe vaak lopen projecten zoals dit uit de hand?” is beter dan “Zal dit project verkeerd aflopen?” Vraag het model eerst hoe vaak zoiets gemiddeld fout gaat.
- Beklim de causale ladder. Neem geen genoegen met “X, dus Y”. Vraag door: waarom, en hoe weten we dat? Stel daarna de tegenvraag: wat als die aanname niet klopt? Judea Pearl beschrijft dit als een ladder met drie sporten: zien, doen en verbeelden. Wat hangt samen, wat gebeurt er als je iets verandert, en wat als het anders was gegaan?
- Vraag een second opinion aan een andere modelfamilie. Een ander model, een andere rol, een andere vraag. Niet “klopt dit?” maar “jij bent de controleur, de advocaat van de tegenpartij, de auditor: zoek uit waarom dit mislukt.” Een model dat zichzelf controleert is geen controle.
- Maak van fouten regels. Hier klopt de analogie met de stagiair. AI is trainbaar, maar de training belandt niet in het oordeel van het model. Ze belandt in je regels, je geheugenbestanden en je procedures. Elke fout die je vangt gaat in een log, en elk patroon in die log moet een te overwegen regel worden. Zo leert en groeit een organisatie, en voorlopig is dat de enige manier waarop je AI-opstelling leert.
- Bewaak je eigen Systeem 1. Controleer de uitkomst die je het meest geneigd bent te vertrouwen dubbel, zeker de gepolijste antwoorden. Bouw wrijving in op het pad met de hoogste inzet: een checklist, een gedwongen pauze, een tweede paar ogen. Reken erop dat je het vervelend moet vinden. In een studie uit 2021 over het terugdringen van overmatige afhankelijkheid van AI beoordeelden mensen de ontwerpen die het best werkten als de minst prettige in gebruik. Systeem 2 hoort aan te voelen als inspanning. Zo weet je dat het aanstaat.
Systeem 2 is geen functionaliteit
Toen ik met AI ging werken, voelde het als een stagiair fulltime opleiden, de hele tijd. Dat gevoel is er nog steeds, een beetje. Maar ik zie het niet langer als een gebrek dat we moeten overwinnen. Stagiairs zijn goed trainbaar, en AI ook. Het verschil is waar de training terechtkomt: niet in het hoofd van de stagiair, maar in het systeem eromheen.
De AI leveranciers zullen je een Systeem 2 waarschijnlijk blijven verkopen als feature: thinking modes, reasoning tokens, deep research, noem maar op. Gebruik ze, ze kunnen helpen. Maar haal een model dat zijn gedachten uitschrijft niet door elkaar met een proces dat ze daadwerkelijk controleert. Kahneman heeft zijn hele carrière laten zien dat zelfs de beste menselijke geesten hun eigen fouten niet betrouwbaar kunnen vangen. Het zou nogal vreemd zijn om meer te verwachten van een machine die is getraind om zeker te klinken, toch?
Systeem 2 kun je niet kopen. Je moet het organiseren. En telkens als er iets doorheen glipt, organiseer je het beter.
