AI-modelroutering uitgelegd: hoe JEV en Laya voor elk verzoek het juiste model kiezen

De meeste mensen kiezen één AI-model en sturen daar alles naartoe. Kies je een sterk model, dan wordt elk "bedankt", elke snelle opzoeking en elke herschreven zin afgerekend tegen de prijs van een sterk model. Kies je een goedkoop model, dan krijgen de moeilijke vragen zwakke antwoorden. Studenten en scholen met een krap budget merken het allebei.

Modelroutering maakt die keuze per verzoek in plaats van één keer. GroutApp en GroutCode hebben daar nu twee routers voor: JEV en Laya. In dit artikel lees je wat routering doet, welke regels het veilig houden en wanneer je welke router kiest.

Even eerlijk: Grout maakt GroutApp en GroutCode. Dit is een productartikel, geschreven om precies te laten zien wat de functie wel en niet doet.

Wat modelroutering is

Een router zit tussen jou en het model. Hij leest het verzoek, schat in hoe moeilijk het is en gebruikt het goedkoopste model dat het goed kan afhandelen. "Wat is de hoofdstad van Frankrijk?" gaat naar een licht model, dat het net zo goed beantwoordt als elk ander. "Bewijs dat er oneindig veel priemgetallen zijn en generaliseer het argument" gaat naar een sterk model.

De modellen waaruit hij kiest vormen een korte ladder, opgebouwd uit de modellen die je echt kunt gebruiken, de goedkoopste eerst: een lichte trede, je gebruikelijke model in het midden en een sterke trede bovenaan. De taak van de router is om elk verzoek op de laagste trede te zetten die het in één keer goed doet.

• Modelroutering in GroutApp en GroutCode

De regels die voorkomen dat routering antwoorden slechter maakt

Merits besparen heeft alleen zin als de antwoorden net zo goed blijven. Voor beide routers gelden dezelfde regels:

• Twijfel betekent: niet omlaag. Is de router niet zeker, dan schakelt hij je nooit over naar een goedkoper model; hooguit gaat hij één trede omhoog.
• Lange gesprekken houden hun model. Wisselen van model stuurt het hele gesprek opnieuw mee, dus zodra een chat lang is, verdwijnt de besparing.
• Jouw keuze telt. Kies je zelf een model voor een bericht, dan draait dat model, onaangeroerd.
• Het valt veilig terug. Mislukt de routering, is die traag of wordt het gerouteerde verzoek geweigerd, dan draait het model dat je hebt geselecteerd. Niets wacht op de router.
• Sommige dingen worden nooit gerouteerd: lokale AI, spraak en het genereren van afbeeldingen blijven op het model dat daarvoor is gekozen.

JEV: routering via Grout Cloud, zonder iets in te stellen

Via Grout Cloud zit JEV in de AI-dienst zelf. Het leest het verzoek, kiest het goedkoopste model dat aan de lat voldoet, en je betaalt in Merits voor het gekozen model, precies alsof je het zelf had gekozen. Je hoeft geen sleutel te plakken en niets te installeren.

Je kunt het bijsturen. De voorkeursinstelling stuurt het richting Merits besparen of richting kwaliteit, en twee lijsten noemen de modellen die de voorkeur krijgen en de modellen die het nooit mag gebruiken. Heb je een eigen JEV-sleutel, dan wordt de beslissing in plaats daarvan vanaf je computer genomen, en draait het verzoek op het model dat JEV aanwijst.

Laya: routering op je eigen computer

Laya is een open beslismodel dat op je eigen computer draait. Je downloadt het één keer, ongeveer 1.7 GB, en elk onderdeel wordt vóór gebruik aan de hand van zijn vingerafdruk gecontroleerd. Daarna leest het alleen je bericht en beantwoordt het één vraag: hoe moeilijk is dit, van triviaal tot moeilijk? Op een recente laptop duurt dat ongeveer een vijfde seconde.

Het antwoord wordt een licht, gebalanceerd of sterk model van je ladder. Je voorkeur verschuift de grenzen: Merits besparen houdt meer verzoeken op lichte modellen, Beste kwaliteit stuurt er meer naar sterke. Er wordt niets verstuurd om te beslissen, en beslissen kost geen Merits en vraagt geen sleutel.

Laya is eerlijk over zijn grenzen. Het huidige model is het Engelse, dus een bericht dat grotendeels in een ander schrift is geschreven, houdt je geselecteerde model. Dat geldt ook voor elk verzoek dat binnenkomt terwijl Laya nog laadt, of wanneer het op een tragere computer niet op tijd kan beslissen. Met een snelheidstest in de instellingen zie je hoe het op jouw computer presteert.

Routering met je eigen providersleutel

Veel studenten en docenten gebruiken hun eigen OpenAI-, Anthropic- of Google-sleutel. Laya, en JEV met je eigen JEV-sleutel, routeren ook die verzoeken: ze kiezen uit de actuele modellen van je provider, de nieuwste van elke familie. Een Anthropic-sleutel routeert dus tussen de huidige Haiku, Sonnet en Opus, en niet naar een oud model dat toevallig goedkoop is.

Hier geldt nog één regel, omdat je provider je rechtstreeks factureert: routering kiest nooit een model dat duurder is dan het model dat je hebt geselecteerd. Het kan alleen besparen. JEV via Grout Cloud is de eigen router van de dienst en draait dus niet op de sleutel van iemand anders.

JEV of Laya: welke kies je

• Kies JEV via Grout Cloud als je niets wilt instellen en in elke taal wilt werken.
• Kies Laya als je de beslissing gratis op je eigen computer wilt laten nemen en vooral in het Engels schrijft.
• Gebruik je je eigen providersleutel, dan werken beide, behalve JEV via Grout Cloud.
• Er draait er altijd maar één. Zet je de ene aan, dan gaat de andere uit.

Zo zet je het aan

1. Open Modelroutering. Open in GroutApp de AI-instellingen en kies Modelroutering. Open in GroutCode Instellingen → Modelroutering.
2. Kies een router. JEV via Grout Cloud, JEV met je JEV-sleutel, of Laya. Voor Laya wordt het model één keer gedownload.
3. Stel een voorkeur en de functies in. Kies hoeveel je wilt besparen en zet routering per AI-functie aan of uit.
4. Werk gewoon verder. Een JEV- of LAYA-label naast de modelkiezer laat zien waar routering aanstaat. Routeringsresultaten toont elke beslissing, waarom die is genomen en wat die kostte vergeleken met je geselecteerde model.

• Bekijk de functiepagina Modelroutering
• Draai AI-modellen op je eigen laptop

Wat het niet doet

Routering maakt een zwak model niet sterk; het beslist welk model wordt gebruikt. Lokale AI wordt niet gerouteerd, want daar wordt niets afgerekend en betekent wisselen van model dat er gigabytes in het geheugen moeten worden geladen. En het gaat nooit in tegen een model dat je zelf kiest. Wil je één model voor een hele sessie, kies het dan, of zet routering voor die functie uit.