Stel dat je je AI-coderingsagent niet als een abonnement afneemt ( Anthropic en anderen ), maar lokaal draait — op je eigen machine, op je eigen model. Wat levert dat op, en welke hardware heb je daarvoor nodig? We hebben een test op een MacBook Pro M5 Max (128 GB) genomen als uitgangspunt. Hier is de data, de hardware-afweging en de architectuur die ik, en jij, zouden kunnen toepassen.
De aanname
wat als je coding-agent standaard lokaal draait, en de cloud alleen inroept als jij het expliciet vraagt?
De cijfers hieronder zijn gemeten op een MacBook Pro M5 Max met 128 GB RAM
Lokale AI modellen zijn standaard, en leveren meteen drie belangrijke zaken op:
- Privé. Je code verlaat je machine niet. Geen logging bij een derde, geen trainingsdata voor andermans model, geen gewijzigde voorwaarden volgend jaar.
- Gratis. Geen per-token-rekening. Je draait op hardware die je toch al hebt.
- Snel genoeg. Lokaal is niet “traag”. Op de test-M5 Max haalt het standaardmodel ruim 140 tokens per seconde — daar komen we op terug.
Wat de test opleverde — generatie-snelheid (tokens/seconde)
“Snel genoeg” geeft geen getallen weer. Dus hebben we het gemeten. Zes lokale modellen, geven de cijfers en de context
| Model | tok/s | Type | Grote |
|---|---|---|---|
| qwen3-coder (default) | 140 | MoE, 3B actief | 18 GB |
| qwen3.5:9b | 74 | dense 9B | 6.6 GB |
| gemma3:12b | 61 | dense 12B | 8.1 GB |
| qwen2.5:14b | 58 | dense 14B | 9.0 GB |
| qwen3:14b | 48 | dense 14B (reasoning) | 9.3 GB |
| qwen3:32b | 24 | dense 32B (reasoning) | 20 GB |
Twee dingen vallen op. Eén: groot is niet automatisch snel. qwen3-coder is met afstand de snelste — 140 tok/s — terwijl het 18 GB groot is. Het is een mixture-of-experts-model (MoE) waarvan per token maar 3 miljard parameters actief zijn. Je laadt een groot brein, maar denkt met een klein, snel deel. Precies de sweet spot voor code. Twee: het zware reasoning-model is traag. qwen3:32b haalt 24 tok/s — 16 seconden voor 400 tokens. Daarom zet je dat niet standaard in, maar roep je pas op als je offline zware analyse wilt.
De routing-architectuur
Eén agent, twee lagen:
pi (lokaal)
└─ defaultProvider: ollama → http://127.0.0.1:11434
├─ lokale tags → Metal-GPU op de Mac
└─ :cloud tags → cloud (proxy via de lokale daemon)De slimme keuze zit in de Standaard keuze: niet het grootste model, maar het model dat voor 95% van het werk de beste balans heeft. Hier is dat qwen3-coder — snel, capabel, lokaal. De zware modellen staan in de cloud en roep je alleen via /model op. Geen automatische cloud-call “voor de zekerheid”. Je kiest bewust wanneer je ze inzet.
Welke hardware heb je daarvoor nodig?
De test was op een MacBook Pro M5 Max (128 GB). Voor Brainfusion zijn er twee realistische opties om lokaal LLM’s te draaien:
- MacBook Pro 16″ M5 Max, 128 GB, 40-core GPU — 614 GB/s bandbreedte, 128 GB geheugen. Portabel, draait 70B-parameters-modellen volledig in memory. Enige Mac met meer dan 96 GB nu (de Mac Studio 256/512 GB is stopgezet i.v.m. een wereldwijd DRAM-tekort). Ongeveer €8.300.
- Mac Studio M3 Ultra, 96 GB, 60-core GPU — 819 GB/s bandbreedte (de snelste Mac), 96 GB geheugen, draait een 70B comfortabel op 25–30 tok/s. Always-on desktop, stil, laag vermogen (100–200 W) — ideaal als 24/7 inference-server. Ongeveer €6.800.
De regel voor lokale LLM’s: geheugenbandbreedte > raw compute voor tokens per seconde. RAM bepaalt óf een model laadt; bandbreedte bepaalt hoe snel het loopt. De M5 Max geeft de meeste capaciteit (128 GB) plus het is een laptop dus je neemt hem altijd mee.; de Mac Studio geeft de meeste bandbreedte (819 GB/s) plus hij is stil en staat altijd aan en kan zware taken lokaal uitvoeren voor webserver diensten. Samen kunnen ze een ontwikkelaar en de standaard diensten ondersteunen.
Wat je ervan leert
- Meten, niet raden. “Lokaal is te traag” is een mening. Een benchmark laat zien dat het standaardmodel 140 tok/s haalt — ruim voldoende voor het meeste codeerwerk.
- MoE wint lokaal. Een mixture-of-experts met weinig actieve parameters is de juiste architectuur: groot genoeg om capabel te zijn en klein genoeg in gebruik om snel te zijn.
- Standaard = je belangrijkste keuze. Niet het sterkste model, maar het model dat de meeste taken dekt zonder dat je erover nadenkt. Escalatie is een bewuste actie, geen automatisme.
- Cloud is geen verraad. Het is gereedschap. Zolang de Standaard lokaal is en de cloud wanneer nodig dan behoud je controle en privacy voor het overgrote deel van je werk.
En nu?
Lokaal draaien is volwassen. Op een moderne Mac met voldoende geheugen haal je snelheid, met een standaard-model dat snel én capabel is, en een escalatie-pad naar de cloud voor de momenten dat lokaal tekortschiet. Geen per-token-rekening. Geen code die je deur uit gaat. Geen afhankelijkheid van een derde partij.
Dat is bezit in plaats van huur — het principe waar heel Brainfusion op draait. We overwegen daarom eigen hardware (een M5 Max en een Mac Studio) om onze diensten verder te automatiseren en te verbeteren via AI. Daar willen we er donateurs bij betrekken; een fundraiser volgt in een volgende blog met pagina. Wil je meedenken of het gesprek aangaan? Laat van je horen.
De benchmark-cijfers zijn gemeten op een MacBook Pro M5 Max (128 GB, 18-core CPU, 40-core GPU) als test. Het script gaf gemiddelden over meerdere metingen. Hardware-prijzen zijn bij benadering (Apple NL, juli 2026)