Wat zit er in je VRAM?
**gputaskman — de 'htop' voor je GPU** Task Manager zegt: "15 GB VRAM gebruikt" en je hebt maar 16GB. Hoop tools die je dat vertellen alleen niet wat precies dus: gputaskman. Dit tool vertelt je exact wat: Modelgewichten? KV-cache? Je browser? En waarom zit een deel van het GPU-geheugen in systeem-RAM?
Wat het is
Een terminal UI (‘htop’-stijl) die per-proces GPU-geheugen en engine-activiteit koppelt aan geladen runtimes, modelbestanden en LLM-bufferanalyse. Windows, Linux, WSL en macOS; Python, MIT-licentie, op PyPI — installatie is `pipx install gputaskman`, of een portable build zonder Python.
De repo is op 3 november 2026 gestart en stond na een week op ruim 1.300 sterren. De documentatie is opvallend eerlijk over waar een meting ophoudt en een schatting begint: *“Device and process counters are measurements; classifications and GGUF-derived breakdowns are estimates.”*
Wat het toont
- **Per proces**: VRAM en engine-load (SM/encoder/decoder op NVIDIA; gfx/compute/video op AMD).
- **LLM-inzichten**: identificeert geladen modellen via de Ollama-, LM Studio- en Hugging Face-stores, GGUF-metadata, lokale server-probes en bufferlogs — met een bewijsniveau per identificatie (bijv. `api+mapped+cmdline`), en een splitsing in gewichten / KV-cache / compute buffer.
- **Container-context**: in Docker of Kubernetes matcht het de host-PIDs van NVML met de processen in de container via `libcuda`-mappings, en markeert onzekerheid met `*` of `?` in plaats van een getal te verzinventariseren.
- **Beperkingen op voorhand**: JSON gebruikt `null` voor niet-beschikbare tellers, nooit een gemeten nul.
Wij hebben er (nog) niets aan want wij gebruiken odm Intel B70 kaarten
Onze dual-B70: twee Intel Arc B70 (Battlemage), native Linux (CachyOS, kernel 7.3.3), vLLM per GPU in rootless podman.
Probleem zit in de driverlaag. De README is expliciet over de brongeschiedenis van per-proces VRAM op native Linux:
| GPU | Bron voor per-proces VRAM | Status |
|---|---|---|
| NVIDIA | NVML | ondersteund |
| AMD | amdgpu (DRM fdinfo) | ondersteund |
| Intel i915 | DRM | ondersteund |
| Intel xe (Arc, o.a. B70/B60) | — | op de roadmap |
Uit het eigen “Next”-overzicht van het project:
“Intel xe per-process memory and load (`drm-cycles-*`), the Intel GT clock in the device panel, and Intel validation beyond the Arc A770 / UHD 730 pair.”
Consequentie voor de B70: de kernfunctie — per-proces VRAM — ontbreekt vandaag. Wat er wél zou moeten werken is de apparaatlaag (totalen, temperatuur, vermogen, klok via sysfs) en de proces- en modeldetectie via `/proc`. Dat hebben we nog niet zelf verifieerd, en dus staat het hier niet als bewering.
De containerlaag is een tweede punt: de gedocumenteerde PID-matching is gebouwd op NVML-host-PIDs en `libcuda`-mappings. Dat signaal bestaat in een xe/DRM-omgeving niet; een container-verhaal voor xe staat niet in de documentatie.
Oftewel nog even wachten. Ondertussen worden de B70 kaarten populairder, zal ongetwijfelt met het feit te maken hebben dat ze nog niet het equivalent van een kleinwagen kosten.
Conclusie
Voor NVIDIA- en AMD-systemen: nu relevant. Eén commando installatie, en precies de inzichten die een lokale inferentie-set-up nodig heeft — welke workload zit waar, en hoeveel KV-cache glijdt er in systeem-RAM.
Erg handige tool.