Excess Compute

Een ( deze begon al wat eerder): Anthropics top models mogen weer gebruikt worden. Twee: de IPO van OpenAI is voorlopig afgelast en drie: Meta heeft een scheepslading compute besteld en gekregen en heeft geen idee wat het ermee moet.

Zo, hoe gaat het in de computerwereld? Voor ons normaal gebruikers van computers, wil zeggen geen AI bedrijven, is het een best bijzonder jaar: de kosten voor hardware zijn ontploft. RAM is moeilijk te krijgen, GPU’s zijn extreem duur, zeker de pro varianten en SSD’s en HDD’s zijn idem enorm gevraagd bij de datacenter boeren en daarom zeer aan de prijs.

Al dit in afwachting van het daverend, werledveranderend AI mirakel, dat maar niet wil gebeuren. Zeker er is iets in AI wat een brilljante toekomst beloofd. Alleen niemand weet wat dit is. En dat wordt nu een probleem. Er is een ongeloofelijke hoeveelheid geld in AI gestoken en dat komt niet terug. Dat is uiteraard ook een probleem. Nu deden de AI bedrijven als of dit gegeven simpelweg niet bestond maar als je aan de beurs wilt om je trillioentje op te halen dan moet je cijfers laten zien. En dat wordt nu een issue. Wat blijkt OpenAI en Anthropic gaan gebukt onder schulden en er wordt maar een fractie aan inkomsten verdient vergeleken met de uitgaves. Daarboven komt dat deze bedrijven door hun use-cases heen zijn. Wil zeggen: beiden lijken geen enkel idee te hebben wat ze met hun tech moeten. Ja, het heeft potentieel, iedereen ziet dat. Alleen in de form hoe men het doet voor komen is “het” er gewoon niet.

Meta was dan een van de hoofdsponsors en heeft milliarden gestoken in compute. Alleen Meta heeft er geen use case voor. Nu wordt deze compute op de vrije markt gegooid en geroepen “wij worden een nieuwe AWS”. Het nieuwe businessmodel is: we gaan het verhuren. Leuk, alleen er is al geen vraag wie gaat dat huren dan?

Een ander fenomeen is het feit dat Softbank een lening op wilde nemen met hun aandeel in OpenAI als onderpand. Er was geen enkele bank hiervoor te vinden. Wat zegt dat over de toestand (financieel) van OpenAI? De bedrijven die vol ingezet hebben op AI gebruik, tokenmaxxers, komen daar nu heel snel van terug nu de werkelijke tokenbedragen gerekent worden. Het is te duur.

Al in al onstaat er dus een beeld waar de hype ingehaald wordt door realiteit en dat komt hard aan blijkbaar.

En dan is het natuurlijk de vraag: hoe gaat dat verder? Als je de compute niet nodig hebt gaa je dan al die nu al overbodige datacenters bouwen waar een deprecatie aan vast plakt?

Intussen wordt de case voor OpenSource AI beter en beter. De modellen zijn inmiddles enorm goed geworden. Waar het aan ontbreekt is: compute, maar dan lokaal.

Interessante tijden.