Van Feynman quotes naar gemiste inzichten over AI?

Een aantal doorgaans vergeten aspecten rond generatieve AI, uitgelegd adhv uitspraken van Richard Feynman (nobelprijswinnaar in de Natuurkunde, al kon hem dat weinig schelen) en daaronder nog wat links naar specialisten

Dit is niet bedoeld u te vertellen wat u wel of niet of hoe moet doen, maar u van stof tot nadenken te voorzien om tot een betere afweging te komen; of de voordelen tegen de nadelen opwegen voor uw specifieke (deel)toepassing. De schrijver heeft zowel voor als na de lancering van chatGPT ervaring met vrijwillige machine learning en LLMs gebruiken en het programmeren ervan en leest er bijna dagelijks over. Samen met decennia ervaring in wiskunde, natuurkunde en een schare aan IT-onderwerpen denkt ie dat heel vaak een combinatie mét of soms geheel van andere technieken beter zou werken dan met een meer brute-force AI-implementatie die vaak wordt gekozen. De eerste AI, ELIZA is overigens al van zo'n 60 jaar geleden.

Daar gaan we:

“The first principle is that you must not fool yourself and you are the easiest person to fool.”

Een aantal voorbeelden:

• Ook een groot denker over denken, Daniël Kahneman, heeft met onderzoek aangetoond dat mensen bij lange na niet zulke rationale, redenerende wezens zijn als ze denken. Veruit de meeste keuzes gaan op gevoel en gewoonte, waar dan (vaak onderbewust) achteraf een soort van goedpratende redenering bij gezocht wordt, een morele loskoppeling, 'rationaliseren' genoemd. Kortom, we houden onszélf bijna de hele tijd voor de gek.
  Menig veelgebruikt LLM haakt hier op in, 'praat ons naar de mond' als de beste verkoper of oplichter, het zogenaamde sycophancy. Dat doet de LLM echter niet bewust omdat ie geen bewustzijn heeft, maar de bouwer van de LLM kan dat wel bewust doen, of juist weer onbewust doordat ie curatie niet serieus neemt.
  Voor machine learning in het algemeen geldt natuurlijk het risico te vergeten dat "Correlation does not imply causation" geldt.
• Een programmeur, dolenthousiast over AI, besloot te gaan meten hoeveel sneller ie met AI was t.o.v. zonder. Hij kon de resultaten niet geloven, dus ging verder in op details en kwam er uiteindelijk op dat ie veel sneller een beginnetje had, maar doordat daar meer fouten in zaten hij uiteindelijk juist meer tijd kwijt was om tot een werkend (en hopelijk correct) eindresultaat te komen. "Tijd kwijt" daar met opzet gebruikt, omdat ie ook minder leerde en meer vergat. Iets waar meerdere gebruikers inmiddels achter zijn gekomen toen ze stopten met AI toen het duurder werd, al is het nog lang niet duur genoeg om OpenAI, Anthropic e.d. uit de kosten te laten komen. En dan te bedenken dat juist (ervaren) programmeurs zich er van bewust zijn zichzelf voor de gek te houden, want debuggen IS denkfouten uitgedrukt in code achterhalen. Daarom maken de meeste programmeurs graag gebruik van een hele rits aan hulpmiddelen zoals checkers, code coloring, diagrammen, etc., mogelijk gemaakt door de (als het goed is) eenduidige definitie van wat geldige code is. Feynman gebruikte voor zijn begrip van de fysica naast de exacte taal der wiskunde, ook allerlei diagrammen. Een nieuw type diagram dat hij zelf ontwikkelde maakte niet alleen zijn doorbraken en Nobelprijs mogelijk, maar ook die van anderen. Natuurlijke taal heeft veel meer vrijheid en dubbelzinnigheid. Menig vakgebied heeft met experts van verschillende partijen al ver voor AI relatief kleine eenduidige vocabulaires samengesteld om verwarring te voorkomen.

"So hard to imagine the scale"

• Alles waarvan de orde van grootte niet in de buurt komt van eenheden die je bijna dagelijks tegenkomt, voor afstand bijvoorbeeld variërend van wat je nog net kunt zien met het blote oog tot wat je op een dag kan reizen, is moeilijker voor te stellen en maak je daarom sneller fouten mee. Ook zijn mensen gewend dat veel dingen niet zo snel en doorgaans ongeveer lineair veranderen. Dat bleek bijvoorbeeld toen de eerste berichten over COVID-19 uit China kwamen en de meesten dat inschatten als 'ver van hun bed', maar met een incubatietijd in een miljoenenstad met een internationaal vliegveld was het eigenlijk toch logisch dat er op datzelfde moment al besmettingen in Nederland plaatsvonden. En in de verschillende latere 'golven' volgden toch steeds weer de onderschatting van exponentiële fenomenen.
• Een simpele rekensom met getallen net te lang voor de meesten om uit het hoofd te kunnen, kon een halve eeuw geleden al razendsnel en foutloos worden uitgevoerd op een rekenmachine die je nooit warm voelde worden en gevoed werd door een ouderwets inefficiënte zonnecel ter grootte van een pink. Het hart van zo'n zakjapanner was een chip van een paar centimeter die tegenwoordig in een ongeveer onzichtbaar klein hoekje van de CPU van een computer of mobieltje zit, die weliswaar veel meer kunnen en doen, maar voor slechts dezelfde berekening een haast onmeetbaar kleine hoeveelheid energie gebruikt. Had je dezelfde som aan chatGPT gevraagd was de orde van grootte van benodigde energie waarschijnlijk ongeveer gelijk geweest aan wat het vereist om een flinke slok water geheel te verdampen (wat behoorlijk lang duurt op de kookplaat in je keuken). Tevens was de berekening lang niet zo snel geweest en niet zelden nog fout ook, zonder dat je het door had (en erger dan opstapelen, versterken fouten elkaar vaak en groeien meestal bij iedere volgende stap). Tegenwoordig worden AI-datacenters gebouwd met een energiegebruik gelijk aan grote steden, met natuurlijk een hele lijst aan flinke ecologische effecten. Bij het woord efficiëntie moet je je ook altijd afvragen WELKE efficiëntie, welke deelsom, wie de efficiëntie-WINST opstrijkt, wat de Jevons paradox betekent voor de werkelijke efficiëntie winst en wat zo'n enorm datacenter voor maatschappelijke neveneffecten veroorzaakt. En de duizenden miljarden die momenteel worden geïnvesteerd in AI, is zo'n groot deel van de economie dat dit (ook indirect) effecten zal hebben op iedereen, volgens menigeen is er niet bepaald stabiliteit aanstaande.
  De uitspraak waarmee deze paragraaf begon komt uit "The complete FUN TO IMAGINE", een video waarin Richard met het grootste plezier de meest complexe dingen verbazingwekkend eenvoudig weet uit te leggen, zodat je er meer mee kan dan reproduceren. Een aantal van de colleges die hij gaf groeiden om die zelfde reden uit tot een fenomeen; 'the Feynman lectures', nu (deels?) ook on-line te vinden. Denken kan héél leuk zijn. En schrijven is niet het vastleggen van de gedachten die je al hebt, maar tegelijkertijd het vormen of bijschaven van die gedachten en uitgedrukt met precies de uitdrukkingen die je het beste acht voor hoe jij het beoogde publiek kent.

"For a successful technology, reality must take precedence over public relations, for nature cannot be fooled."

Dit heeft Feynman gezegd naar aanleiding van zijn onderzoek naar de oorzaak van het ontploffen van The Challenger, één van de bemande spaceshuttle ruimteveren. Zowel de moeilijkheid van het achterhalen van de technische oorzaak, als hoe die technische fout toch had kunnen ontstaan bleek namelijk nogal veel te maken te hebben met het ongezonde krachtenspel om ego's en aanzien dat goede veilige samenwerking frustreerde. Het is mij onbekend of degene die hem aanstelde voor dit onderzoek wist dat hij naast een geniaal fysicus, ook heel weinig op had met hiërarchie e.d. (zijn vader was kostuummaker en had hem veel verteld over de vaak kwalijke invloed van macht op gedrag en juist samenwerking).

• Miljardenbudgetten ingezet via media en marketing hebben via veel herhaling enorme beloftes gemaakt over de mogelijkheden van AI, o.a. goed ontvangen door mensen die financiële beslissingen maken ook over arbeidscontracten, maar vaak minder sterk in de inhoud van IT of haar toepassingsgebied zitten. Durf dan maar eens met een kritisch geluid te komen als je een van de weinigen bent die denkt dat we eerst allerlei 'technical debt' moeten wegwerken (ookwel 'de digitale kamer opruimen') voordat we echt gericht optimaal voordeel kunnen halen uit het toevoegen van AI-technieken aan onze digitale gereedschapkist.

Hopelijk ben je nu minder makkelijk te 'foolen' aangaande AI. Succes met de afwegingen!

Om nog veel beter de zin en onzin over AI beter van elkaar te kunnen onderscheiden adviseer ik u bijdragen van daadwerkelijke experts als Ilyaz Nasrullah, Bert Hubert, Felienne Hermans, Iris van Rooij, Ed Zitron, Gil Durán of David Gerard tot u te (blijven) nemen. Of als u echt weinig tijd hebt, scroll alleen eens even snel langs de titels op https://www.youtube.com/@PivotToAI/videos en je krijgt er waarschijnlijk al een wat evenwichtiger beeld van AI van