Das Problem, das alle ignorieren (und die Lösung)
Wir erhalten viele Anfragen für AI-Systeme. Fast immer handelt es sich um Anfragen mit NVIDIA-GPUs. Daran hängt heutzutage ein Preisschild, bei dem man standfest sein muss. Aber es gibt eine Alternative — und die ist sehr gut.
Warum lokale AI? Wir haben das Thema schon ein paar Mal angesprochen, und jetzt sagt auch der Microsoft-CEO etwas dazu: Letzten Sonntag veröffentlichte Satya Nadella einen Beitrag, der die AI-Welt aufhorchen lässt. In einem Post auf X mit über 6 Millionen Views nannte er es das Reverse Information Paradox: Unternehmen, die AI als Dienst beziehen, zahlen doppelt. Einmal mit Geld. Und einmal mit etwas Wertvollerem — ihrem eigenen Know-how.
Jeder Prompt, jede Korrektur, die Ihre Mitarbeiter geben, wenn das Modell falsch liegt, jede Bewertung, die Sie durchführen — all das sind Fragmente institutionellen Wissens, die das Modell lernt. Trace by trace, correction by correction, eval by eval, wie Nadella es formuliert. Der Anbieter lernt mehr über Sie als Sie über den Anbieter. Und je besser Sie das Modell performen lassen wollen, desto mehr Wissen müssen Sie teilen.
Es ist ein fundamentales Problem. Und es ist die Antwort auf die Frage, die sich viele Unternehmen eigentlich nicht zu stellen wagten: Warum läuft unsere AI eigentlich nicht lokal?
Nur ist lokale AI durch NVIDIAs Einfluss sehr teuer geworden: Eine NVIDIA RTX 6000 Ada kostet etwa 9.000 €. Sie brauchen vier davon für 96 GB VRAM — ausreichend für ein solides 70B-Modell. Mainboard, das diese Karten verarbeiten kann: 1.500–2.000 €. RAM: 2.000 €. Netzteil, Storage, Gehäuse — nochmal 2.000 €. Insgesamt: rund 42.000 € für eine Maschine, die ein einziges Modell betreibt. Eine RTX 6000 Blackwell ist noch erheblich teurer, hat dafür aber 96 GB VRAM.
| Spec | Intel Arc Pro B70 | RTX 5090 | AMD MI300X |
|---|---|---|---|
| VRAM | 32 GB | 32 GB | 192 GB |
| Speichertyp | GDDR6 | GDDR7 | HBM3e |
| Speicherbandbreite | 1 TB/s | 1,3 TB/s | 1,9 TB/s |
| TDP | 300 W | 575 W | 750 W |
| Kühlung | Einzellüfter | Dreifachlüfter | SXM / Flüssig |
| Formfaktor | PCIe, 2-Slot | PCIe, 3-4 Slot | SXM / PCIe |
| Aktueller Preis | ~1.300 € | ~4.200+ € | ~15.000+ € |
| Preis pro GB VRAM | 41 €/GB | 131 €/GB | 78 €/GB |
| Bewiesenes max. lokales LLM | 35B MoE (BF16) | ~35B (gleicher VRAM) | ~100B+ |
Und das ist allein die GPU. Die CPU muss die Daten an die GPU liefern können. Das Mainboard braucht vier volle PCIe-16x-Slots. Die Kühlung muss dieses Wärmebudget bewältigen. Es ist eine Rechenzentrums-Auflistung im Büroformat. Und das ist noch bevor man schaut, was in der Maschine eigentlich läuft.
Auf unserer Suche nach einer Maschine, die nicht gleich das Preisschild eines Durchschnittswagens hat, sind wir auf die Intel B70 GPU gestoßen. Intel ist nicht die erste Marke, die uns bei GPUs in den Sinn kommt, aber AI ist anders: Hier geht es zunächst nicht um die Leistung des Chips, sondern vor allem um die Menge und Bandbreite des VRAM. Also: Messen ist Wissen — wir haben zwei dieser B70 GPUs gekauft und ein System drumherum gebaut. Für Training und Video-/Bilderzeugung wird dann die GPU-Leistung benötigt.
Warum zwei Arc Pro B70-Karten funktionieren
Eine Intel Arc Pro B70 (Battlemage G31) hat 32 GB VRAM und eine Speicherbandbreite von circa 800 GB/s. Zwei Karten geben Ihnen 64 GB. Für ein Modell wie Qwen3.6-35B-A3B — ein Mixture-of-Experts-Modell mit 256 Experten, 8 pro Token, 40 Schichten und 262K Kontext — ist das mehr als ausreichend.
Die MoE-Architektur bedeutet, dass das Modell pro Token nur einen Bruchteil seiner Parameter aktiviert. Der Rest der 67 Milliarden Parameter ruht im VRAM, bereit, abgerufen zu werden, wenn nötig. Das ist keine Verschwendung — es ist Kapazität, die Ihnen gehört.
Eine einzelne B70 in einem R680-Mainboard mit zwei PCIe-16x-Slots. 32 Compute-Kerne. 62 GB Systemspeicher. Die Inferenz läuft als qwen36-35b über vLLM mit BF16-Precision. Die PCIe-Bandbreite ist kein Engpass für Inferenz — das ist compute- und speicherbandbreitengebunden, und die B70 liefert das reichlich.
Wir haben also Reserven in diesem System, und die braucht man auch, denn es sind mehr als ein Benutzer gleichzeitig auf dem System aktiv, und gelegentlich müssen Modelle nachgeladen werden, zum Beispiel für Embedding, Vision oder andere Aufgaben.
Wir verwenden Hermes als Wrapper mit mehreren Profilen. Besonders die Knowledgebase-Funktion ist für uns Gold wert. Schließlich bauen wir Maßarbeit — nichts ist Standard. Dadurch müssen wir ständig technische Informationen suchen, um Komponenten optimal auf die Anforderungen des Nutzers abzustimmen. Zum Beispiel: Was sind die besten SSDs für 4K-Datenblöcke? Das ist eine Recherche-Aufgabe, die stundenlang dauern kann. Jetzt speichern wir das und rufen es ab, wenn nötig. Ideal.
Zurück zum Satya-Nadella-Thema: Überlegen Sie gut, was Sie mit Ihren Daten machen. Ein OpenAI- und Anthropic-Interface frisst Ihre Daten. Buchstäblich. Und die bleiben schön auf den Servern dieser Unternehmen. Wir nutzen beide Optionen — nur für sensible Daten verwenden wir lokal.
Zusammenfassend: Die Intel-Karten sind eine hervorragende Lösung. Hätten wir nicht gedacht, aber eine positive Überraschung ist immer willkommen. Neugierig? Ausprobieren? Sie sind herzlich willkommen.