KI-Modell-Routing erklärt: wie JEV und Laya für jede Anfrage das passende Modell wählen

Die meisten wählen ein KI-Modell und schicken alles dorthin. Nehmen Sie ein starkes Modell, wird jedes „Danke“, jede kurze Recherche und jede einzeilige Umformulierung zu den Preisen eines starken Modells abgerechnet. Nehmen Sie ein günstiges, bekommen die schweren Fragen schwache Antworten. Schüler und Schulen mit knappem Budget spüren beides.

Modell-Routing trifft diese Wahl für jede Anfrage neu statt nur einmal. GroutApp und GroutCode bringen dafür jetzt zwei Router mit: JEV und Laya. Dieser Beitrag erklärt, was Routing macht, welche Regeln es sicher halten und wann welcher Router die richtige Wahl ist.

Zur Offenheit: Grout entwickelt GroutApp und GroutCode. Dies ist ein Produktbeitrag, der genau zeigen soll, was die Funktion kann und was nicht.

Was Modell-Routing ist

Ein Router sitzt zwischen Ihnen und dem Modell. Er liest die Anfrage, schätzt ein, wie schwer sie ist, und lässt das günstigste Modell laufen, das sie gut erledigt. „Was ist die Hauptstadt von Frankreich?“ geht an ein leichtes Modell, das sie so gut beantwortet wie jedes andere. „Beweisen Sie, dass es unendlich viele Primzahlen gibt, und verallgemeinern Sie das Argument“ geht an ein starkes.

Die Modelle, zwischen denen er wählt, bilden eine kurze Stufenleiter aus den Modellen, die Sie tatsächlich nutzen können, das günstigste zuerst: eine leichte Stufe, Ihr übliches Modell in der Mitte und eine starke Stufe ganz oben. Die Aufgabe des Routers ist es, jede Anfrage auf die niedrigste Stufe zu setzen, die sie beim ersten Versuch richtig löst.

• Modell-Routing in GroutApp und GroutCode

Die Regeln, die verhindern, dass Routing Antworten verschlechtert

Merits zu sparen lohnt sich nur, wenn die Antworten genauso gut bleiben. Für beide Router gelten dieselben Regeln:

• Unsicher heißt: kein Herabstufen. Ist sich der Router nicht sicher, wechselt er nie zu einem günstigeren Modell; höchstens geht er eine Stufe nach oben.
• Lange Unterhaltungen behalten ihr Modell. Ein Modellwechsel schickt die gesamte Unterhaltung erneut, sobald ein Chat lang ist, ist die Ersparnis also dahin.
• Ihre Wahl gilt. Wählen Sie für eine Nachricht selbst ein Modell, läuft genau dieses, unverändert.
• Es fällt sicher zurück. Schlägt das Routing fehl, ist es zu langsam oder wird die geroutete Anfrage abgelehnt, läuft das Modell, das Sie gewählt haben. Nichts wartet auf den Router.
• Manches wird nie geroutet: Lokale KI, Sprache und Bilderzeugung bleiben bei dem Modell, das dafür gewählt wurde.

JEV: Routing über Grout Cloud, ganz ohne Einrichtung

Über Grout Cloud sitzt JEV direkt im KI-Dienst. Es liest die Anfrage, wählt das günstigste Modell, das die Anforderungen erfüllt, und Sie zahlen in Merits für das gewählte Modell, genau so, als hätten Sie es selbst ausgesucht. Es gibt keinen Schlüssel einzufügen und nichts zu installieren.

Sie können es lenken. Die Einstellung zur Ausrichtung schiebt es in Richtung Merits sparen oder in Richtung Qualität, und zwei Listen nennen Modelle, die bevorzugt werden, und Modelle, die es nie verwenden darf. Haben Sie einen eigenen JEV-Schlüssel, fällt die Entscheidung stattdessen auf Ihrem Computer, und die Anfrage läuft auf dem Modell, das JEV nennt.

Laya: Routing auf Ihrem eigenen Computer

Laya ist ein offenes Entscheidungsmodell, das auf Ihrem eigenen Computer läuft. Sie laden es einmal herunter, etwa 1.7 GB, und jedes Teil wird vor der Nutzung anhand seines Fingerabdrucks geprüft. Danach liest es nur Ihre Nachricht und beantwortet eine einzige Frage: Wie schwer ist das, von trivial bis schwierig? Auf einem aktuellen Laptop dauert das etwa eine Fünftelsekunde.

Aus der Antwort wird ein leichtes, ausgewogenes oder starkes Modell aus Ihrer Stufenleiter. Ihre Ausrichtung verschiebt die Grenzen: Merits sparen hält mehr Anfragen auf leichten Modellen, Beste Qualität schickt mehr davon an starke. Für die Entscheidung wird nichts verschickt, sie kostet keine Merits und braucht keinen Schlüssel.

Laya macht kein Geheimnis aus seinen Grenzen. Das aktuelle Modell ist das englische, deshalb behält eine Nachricht, die überwiegend in einer anderen Schrift geschrieben ist, Ihr gewähltes Modell. Das gilt auch für jede Anfrage, die eintrifft, während Laya noch lädt, oder wenn es auf einem langsameren Computer nicht rechtzeitig entscheiden kann. Ein Geschwindigkeitstest in den Einstellungen zeigt Ihnen, wie es auf Ihrem Gerät abschneidet.

Routing mit Ihrem eigenen Anbieterschlüssel

Viele Schüler und Lehrkräfte bringen ihren eigenen OpenAI-, Anthropic- oder Google-Schlüssel mit. Laya und JEV mit Ihrem eigenen JEV-Schlüssel routen auch diese Anfragen: Sie wählen unter den aktuellen Modellen Ihres Anbieters, jeweils dem neuesten jeder Familie. Ein Anthropic-Schlüssel routet also zwischen den aktuellen Versionen von Haiku, Sonnet und Opus statt auf ein altes Modell, das zufällig günstig ist.

Hier gilt noch eine Regel, weil Ihr Anbieter Ihnen direkt Rechnungen stellt: Das Routing wählt nie ein Modell, das mehr kostet als Ihr gewähltes. Es kann nur sparen. JEV über Grout Cloud ist der eigene Router des Dienstes und läuft daher nicht mit fremden Schlüsseln.

JEV oder Laya: welcher Router passt

• Wählen Sie JEV über Grout Cloud, wenn Sie nichts einrichten möchten und in beliebigen Sprachen arbeiten.
• Wählen Sie Laya, wenn die Entscheidung kostenlos auf Ihrem eigenen Computer fallen soll und Sie überwiegend auf Englisch schreiben.
• Mit Ihrem eigenen Anbieterschlüssel funktionieren beide, außer JEV über Grout Cloud.
• Es läuft immer nur einer. Schalten Sie einen ein, wird der andere ausgeschaltet.

So schalten Sie es ein

1. Modell-Routing öffnen. Öffnen Sie in GroutApp die KI-Einstellungen und wählen Sie Modell-Routing. In GroutCode öffnen Sie Einstellungen → Modell-Routing.
2. Router wählen. JEV über Grout Cloud, JEV mit Ihrem JEV-Schlüssel oder Laya. Für Laya wird das Modell einmalig heruntergeladen.
3. Ausrichtung und Funktionen festlegen. Legen Sie fest, wie stark gespart werden soll, und schalten Sie das Routing für jede KI-Funktion ein oder aus.
4. Wie gewohnt arbeiten. Ein JEV- oder LAYA-Chip neben der Modellauswahl zeigt, wo das Routing aktiv ist. Routing-Ergebnisse listet jede Entscheidung auf, warum sie getroffen wurde und was sie im Vergleich zu Ihrem gewählten Modell gekostet hat.

• Zur Funktionsseite Modell-Routing
• KI-Modelle auf dem eigenen Laptop ausführen

Was es nicht tut

Routing macht aus einem schwachen Modell kein starkes; es entscheidet, welches Modell zum Einsatz kommt. Lokale KI wird nicht geroutet, denn dort wird nichts abgerechnet, und ein Modellwechsel hieße, Gigabytes in den Speicher zu laden. Und es setzt sich nie über ein Modell hinweg, das Sie selbst wählen. Wenn Sie für eine ganze Sitzung ein bestimmtes Modell möchten, wählen Sie es aus oder schalten Sie das Routing für diese Funktion aus.