Welke offline AI-modellen het waard zijn op een studentenlaptop

Het idee dat je dure hardware nodig hebt om AI lokaal te draaien, loopt inmiddels zo'n twee jaar achter. Door kwantisatie en kleinere, beter getrainde modellen ligt de ondergrens zo veel lager dat een middenklasse schoollaptop een realistisch doel is.

Wat niet is veranderd: de keuze van het model doet er meer toe dan in de cloud, want jij bent degene die het geheugen betaalt.

De enige drie getallen die ertoe doen

Een 4-bit model met 3 tot 8 miljard parameters is de sweet spot voor een laptop. Het past ruim in het geheugen, antwoordt snel en kan de taken aan waarmee studenten daadwerkelijk aankomen.

• Aantal parameters — grofweg hoeveel het model weet. Meer is beter, en zwaarder.
• Kwantisatie — de precisie waarmee de gewichten worden opgeslagen. 4-bit kost ruwweg een kwart van het geheugen ten opzichte van 16-bit, met een kwaliteitsverlies dat de meeste studenten bij dagelijkse taken niet merken.
• Contextlengte — hoeveel tekst het model tegelijk kan vasthouden. Dit bepaalt of je een heel hoofdstuk kunt invoeren of maar een paar alinea's.

Waar lokale modellen nu al goed in zijn

• Een hoofdstuk of een transcript samenvatten.
• Een begrip uitleggen op het niveau dat jij kiest, keer op keer en met eindeloos geduld.
• Tekst uitlezen uit een foto van handschrift of een werkblad.
• Oefenvragen genereren op basis van aangeleverd materiaal.
• Herschrijven voor meer helderheid, een andere toon of een ander leesniveau.
• Kleine, scherp omschreven programma's schrijven en bestaande code uitleggen.
• Vertalen en taaloefeningen verbeteren.

Waar de cloud nog wint

Dat is een echt verschil, geen marketingslag om de hoek. Het praktische antwoord is: standaard lokaal, met een bewuste route om op te schalen — precies zoals Grout is ingericht, met modellen op het apparaat zelf als standaard en optionele Premium-cloudmodellen wanneer een taak dat verdient.

• Lange redeneringen met veel stappen, waarbij een kleine fout doorwerkt.
• Alles waarvoor kennis van recente gebeurtenissen nodig is — elk lokaal model heeft een kennisgrens en geen browser.
• Heel lange documenten, waar een groot contextvenster het hele verhaal is.
• Specialistische niches die alleen een heel groot model heeft opgenomen.

Wat een bepaalde machine aankan

Het gedeelde geheugen van Apple Silicon presteert hier boven zijn getal, omdat de GPU de hele geheugenpool kan aanspreken. Een MacBook Air met 16 GB is verrassend sterk als lokale AI-machine.

• 8 GB RAM: kleine 4-bit tekstmodellen, OCR met vision, lichte beeldgeneratie. Bruikbaar, en offline.
• 16 GB RAM: middelgrote modellen met een langere context, volledige vision en comfortabele beeldgeneratie. Dit is de sweet spot.
• Apple Silicon of een aparte GPU: grote modellen, snelle generatie en video-export met hardwareversnelling.

Praktische tips bij het inrichten

• Download modellen op een snelle verbinding voordat je ze nodig hebt — dit is de enige stap waarvoor je internet nodig hebt.
• Zet de stekker erin bij langere generatiesessies; lokale inferentie vraagt veel van de accu.
• Houd één klein, snel model voor korte vragen en één groter model voor echt werk, in plaats van alles door het grootste model te duwen dat nog past.
• Vraag op een schoolapparaat aan de ICT-afdeling om de modellen vooraf in het laptop-image te zetten, zodat apparaten meteen klaar zijn.