De drie schalingswetten van AI: voorbij de technische horizon

In mijn vorige artikel "Hebben we het plafond bereikt?" betoogde ik dat de huidige staat van AI-technologie voldoende is voor jaren aan ontwikkeling. Deze week, tijdens CES 2025, bood NVIDIA CEO Jensen Huang een fascinerend nieuw perspectief op de schalingswetten van AI die deze visie versterkt.

"De industrie jaagt en holt om kunstmatige intelligentie te schalen," observeerde Huang. Hij onthulde vervolgens dat er volgens hem niet één, maar drie fundamentele schalingswetten zijn die de evolutie van AI bepalen: pre-training, post-training, en test-timescaling.

De drie dimensies van groei

De eerste schalingswet (pre-training) is welbekend: meer data, grotere modellen en meer rekenkracht leiden tot betere prestaties. Maar Huang's inzichten over de twee aanvullende schalingswetten zijn bijzonder relevant voor onze huidige fase van AI-ontwikkeling.

Detweede wet, post-training schaling, draait om verfijning door menselijke feedback (beter bekend als RLHF), maar ook (synthetische) data. "Het is als het ware een mentor of een coach die je feedback geeft nadat je klaar bent met de les," legde Huang uit. Deze fase is cruciaal voor het ontwikkelen van domeinspecifieke expertise.

De derde wet, test-time scaling, is nog niet zo bekend. Het gaat over hoe AI systemen rekenkracht gebruiken—eigenlijk "nadenken" voordat ze antwoorden geven. Zoals Huang het verwoordt: "In plaats van directe inferentie kun je erover nadenken, het probleem in meerdere stappen opbreken." We hebben dit gezien met modellen die meer redeneren zoals OpenAI's o1 en o3.

Implicaties voor de praktijk

Naast de technische schalingswetten zien we ook een langzame ontwikkeling in de maatschappij. Naast de technische vooruitgang zien we dat er verschillende gradaties van implementatie en toepassing zijn. We zien dit in drie parallelle ontwikkelingen:

1.  De menselijkeexpertise in het werken met AI groeit gestaag

2.  Nieuwe domeinspecifieke toepassingen worden continuontdekt

3.  Sectoren die aanvankelijk terughoudend waren, beginnen nu te experimenteren

Dit verklaart waarom we, zelfs als de pre-training schalingswet zou afvlakken, nog steeds jaren aan innovatie voor onshebben. De andere twee schalingswetten bieden nieuwe wegen voor vooruitgang.

Een nieuw perspectief

We bevinden ons inderdaad op een technologisch kantelpunt, maar niet zoals velen denken. Het is niet zozeer een kwestie van pure rekenkracht of modelgrootte,maar van de synergie tussen deze drie schalingswetten en hoe mensen het inzetten. Huang's raamwerk helpt ons begrijpen waarom organisaties die AI succesvol implementeren vaak op alle drie deze fronten werken: ze trainen of finetunen modellen, verzamelen feedback, én optimaliseren hun prestaties.

Voor organisaties en professionals betekent dit dat de focus niet alleen moet liggen op het omarmen van de nieuwste modellen, maar op het ontwikkelen van expertise in alle drie deze dimensies van AI-schalen. De toekomst van AI-innovatie ligt niet alleen in de laboratoria van grote techbedrijven, maar ook in de creatieve toepassingen en implementaties in het veld.

‍