Het probleem dat iedereen negeert (en de oplossing)
Wij krijgen veel aanvragen voor AI systemen. Vrijwel altijd zijn dat aanvragen waarin nvidia GPU's in voor komen. Daar hangt tegenwoordig een prijskaartje aan waar je stevig in je schoenen moet staan. Maar er is een alternativ en dat is heel goed.
Waaarom lokaal AI draaien? Wij hebben het al een paar keer hierover gehad en nu zegt de CEO van Microsoft er ook wat van: Vorige week zondag publiceerde Satya Nadella een bijdrage die de AI-wereld doet verschrompelen. In een post op X met meer dan 6 miljoen views noemde hij het het Reverse Information Paradox: bedrijven die AI afnemen als dienst betalen tweemaal. Eens met geld. En tweemaal met iets waardevollers — hun eigen knowhow.
Elke prompt, elke correctie die uw medewerkers geven als het model het fout heeft, elke evaluatie die u uitvoert — het zijn allemaal fragments institutionele kennis die het model leert. Trace by trace, correction by correction, eval by eval, zoals Nadella het verwoordt. De leverancier leert meer over ú dan u over de leverancier. En hoe beter u het model wilt laten presteren, des te meer kennis moet u delen.
Het is een fundamenteel probleem. En het is het antwoord op de vraag die veel bedrijven zich eigenlijk niet durfden te stellen: _waarom draait onze AI eigenlijk niet lokaal?
Alleen lokaal een AI draaien is door toedoen van nVidia erg kostbaar geworden: Een NVIDIA RTX 6000 Ada kost ongeveer €9.000. U heeft er vier nodig voor 96GB VRAM — voldoende voor een solide 70B-model. Moederbord dat die kaarten aankan: €1.500–€2.000. RAM: €2.000. PSU, storage, chassis — nog eens €2.000. Totaal: rond de €42.000 voor één machine die een enkel model draait. Een RTX 6000 Blackwell is nog een heel stuk kostbaarder maar heeft dan wel 96GB VRAM.
En dat is alleen de GPU. De CPU moet de data aan die GPU kunnen voeden. Het moederbord moet vier full PCIe 16x-slots hebben. De koeling moet dat warmtebudget aankunnen. Het is een datacenter-opsomming in een kantoorformaat. En dat is nog voordat u kijkt naar wat er eigenlijk in die machine draait.
Op onze zoektocht na de machine die niet meteen het prijskaartje van een gemiddelde auto heeft zijn wij tegen de Intel B70 GPU aan gelopen. Nou is Intel niet het eerste merk dat bij ons te binnen schiet als wij aan GPUs denken maar AI is anders: hier gaat het in eerste instantie niet om de kracht van de chip maar vooral de hoeveelheid en bandbreedte van het VRAM. Dus, meten is weten, of in die geval wij hebben twee van die B70 GPUs ingekocht en een systeem eromheen gebouwt. Voor training en video en beeld creatie wordt wel de kracht van de GPU gevraagd.
Waarom twee Arc Pro B70-kaarten werken
Een Intel Arc Pro B70 (Battlemage G31) heeft 32GB VRAM en een geheugenbandbreedte van circa 800GB/s. Twee kaarten geven u 64GB. Voor een model zoals Qwen3.6-35B-A3B — een Mixture-of-Experts-model met 256 experts, 8 per token, 40 lagen en 262K context — is dat meer dan voldoende.
Het MoE-architectuur betekent dat het model per token slechts een fractie van zijn parameters activeert. De rest van de 67 miljard parameters rust in VRAM, klaar om aan te roepen wanneer dat nodig is. Dit is geen waste — het is capaciteit die ú toebehoort.
Een single B70 in een R680-moederbord met twee PCIe 16x-slots. 32 compute cores. 62GB systeem-geheugen. De inferentie draait als qwen36-35b via vLLM, met BF16-precision. De PCIe-bandbreedte is geen bottleneck voor inference — dat is compute- en geheugen-bandwidth-bound, en de B70 levert dat ruimschoots.
Dus wij hebben overhead in dit systeem en die heb je ook nodig want er meerdan een gebruiker op dit systeem bezig plus af en toe moeten modellen bij geladen worden bijvoorbeeld voor embedding, vision over andere taken.
Wij gebruiken Hermes als wrapper met meerdere profielen. Vooral de knowledgebase functie is voor ons goud waard. Immers wij maken maatwerk en dan is niets standard. Hierdoor moeten wij voortdurend technische informatie zoeken om onderdelen optimaal af te stemmen op de vraag van de gebruiker. Bijvoorbeeld wat zijn de beste SSD’s voor 4K data bloken? Dit is een success met zoeken opdracht die je uren tijd kost. Nu slaan wij dit op en ropen het af wanneer nodig. Ideaal.
Dus, tergukomend op het Satya Nadella verhaal: bedenk goed wat je met je data doet. Een OpenAI en Anthropic interface eet je data. Letterlijk. En dat blijft mooi op de servers van deze bedrijven staan. Wij gebruiken beide opties, alleen voor de data die gevoelig is gebruiken wij lokaal.
Samenvattend: de Intel kaarten zijn een uitstekende oplossing, hadden wij niet gedacht maar een positive verrassing is altijd welkom. Benieuwd? Uitchecken? U bent welkom.