Le routage des modèles d'IA expliqué : comment JEV et Laya choisissent le bon modèle pour chaque requête

La plupart des gens choisissent un modèle d'IA et lui envoient tout. Prenez un modèle puissant, et chaque « merci », chaque recherche rapide et chaque phrase reformulée est facturé au prix fort. Prenez-en un bon marché, et les questions difficiles reçoivent des réponses faibles. Les étudiants et les établissements au budget serré subissent les deux.

Le routage des modèles fait ce choix à chaque requête plutôt qu'une fois pour toutes. GroutApp et GroutCode intègrent désormais deux routeurs pour cela : JEV et Laya. Cet article explique ce que fait le routage, les règles qui le rendent sûr et quand choisir quel routeur.

En toute transparence : Grout développe GroutApp et GroutCode. Il s'agit d'un article produit, écrit pour montrer précisément ce que la fonctionnalité fait et ne fait pas.

Qu'est-ce que le routage des modèles

Un routeur se place entre vous et le modèle. Il lit la requête, évalue sa difficulté et lance le modèle le moins cher capable de bien la traiter. « Quelle est la capitale de la France ? » part vers un modèle léger, qui y répond aussi bien que n'importe quel autre. « Démontrez qu'il existe une infinité de nombres premiers et généralisez l'argument » part vers un modèle puissant.

Les modèles entre lesquels il choisit forment une courte échelle, construite à partir des modèles que vous pouvez réellement utiliser, du moins cher au plus cher : un échelon léger, votre modèle habituel au milieu et un échelon puissant en haut. Le rôle du routeur est de placer chaque requête sur l'échelon le plus bas qui la traitera correctement du premier coup.

• Le routage des modèles dans GroutApp et GroutCode

Les règles qui empêchent le routage de dégrader les réponses

Économiser des Merits n'a d'intérêt que si les réponses restent aussi bonnes. Les deux routeurs obéissent aux mêmes règles :

• Dans le doute, pas de rétrogradation. Si le routeur n'est pas sûr de lui, il ne vous fait jamais passer à un modèle moins cher ; au plus, il vous fait monter d'un cran.
• Les longues conversations gardent leur modèle. Changer de modèle renvoie toute la conversation : une fois un chat devenu long, l'économie disparaît.
• Votre choix prime. Choisissez vous-même un modèle pour un message et c'est lui qui répond, sans modification.
• En cas d'échec, rien ne bloque. Si le routage échoue, est lent ou si la requête routée est refusée, c'est le modèle que vous avez sélectionné qui répond. Rien n'attend le routeur.
• Certaines choses ne sont jamais routées : l'IA locale, la voix et la génération d'images restent sur le modèle choisi pour elles.

JEV : le routage sur Grout Cloud, sans rien à configurer

Sur Grout Cloud, JEV est intégré au service d'IA. Il lit la requête, choisit le modèle le moins cher qui atteint le niveau requis, et vous payez en Merits le modèle choisi, exactement comme si vous l'aviez choisi vous-même. Aucune clé à coller, rien à installer.

Vous pouvez l'orienter. Le réglage d'orientation le pousse vers l'économie de Merits ou vers la qualité, et deux listes indiquent les modèles à privilégier et ceux qu'il ne doit jamais utiliser. Si vous avez votre propre clé JEV, la décision est prise depuis votre ordinateur, et la requête s'exécute sur le modèle désigné par JEV.

Laya : le routage sur votre propre ordinateur

Laya est un modèle de décision ouvert qui fonctionne sur votre propre ordinateur. Vous le téléchargez une fois, environ 1.7 GB, et chaque élément est vérifié d'après son empreinte avant d'être utilisé. Ensuite, il ne lit que votre message et répond à une seule question : quelle est la difficulté, de triviale à difficile ? Sur un ordinateur portable récent, cela prend environ un cinquième de seconde.

La réponse devient un modèle léger, équilibré ou puissant de votre échelle. Votre orientation déplace les seuils : Économiser des Merits garde davantage de requêtes sur des modèles légers, Meilleure qualité en envoie davantage vers des modèles puissants. Rien n'est envoyé nulle part pour décider, et la décision ne coûte aucun Merits et ne demande aucune clé.

Laya ne cache pas ses limites. Le modèle actuel est le modèle anglais : un message rédigé surtout dans une autre écriture conserve donc votre modèle sélectionné. C'est aussi le cas de toute requête qui arrive pendant que Laya se charge encore, ou lorsqu'il ne peut pas décider à temps sur un ordinateur plus lent. Un test de vitesse dans les paramètres vous indique ce qu'il donne sur le vôtre.

Le routage avec votre propre clé de fournisseur

Beaucoup d'étudiants et d'enseignants utilisent leur propre clé OpenAI, Anthropic ou Google. Laya, ainsi que JEV avec votre propre clé JEV, routent aussi ces requêtes : ils choisissent parmi les modèles actuels de votre fournisseur, le plus récent de chaque famille. Une clé Anthropic route donc entre les versions actuelles de Haiku, Sonnet et Opus, et non vers un ancien modèle qui se trouve être bon marché.

Une règle de plus s'applique ici, car votre fournisseur vous facture directement : le routage ne choisit jamais un modèle plus cher que celui que vous avez sélectionné. Il ne peut que faire économiser. JEV sur Grout Cloud est le routeur propre au service : il ne fonctionne donc pas avec la clé de quelqu'un d'autre.

JEV ou Laya : lequel choisir

• Choisissez JEV sur Grout Cloud si vous ne voulez rien configurer et travaillez dans n'importe quelle langue.
• Choisissez Laya si vous voulez que la décision soit prise sur votre propre ordinateur, gratuitement, et que vous écrivez surtout en anglais.
• Avec votre propre clé de fournisseur, les deux conviennent, sauf JEV sur Grout Cloud.
• Un seul fonctionne à la fois. En activer un désactive l'autre.

L'activer

1. Ouvrir Routage des modèles. Dans GroutApp, ouvrez les paramètres IA et choisissez Routage des modèles. Dans GroutCode, ouvrez Paramètres → Routage des modèles.
2. Choisir un routeur. JEV sur Grout Cloud, JEV avec votre clé JEV, ou Laya. Pour Laya, le modèle se télécharge une seule fois.
3. Régler l'orientation et les fonctions. Choisissez à quel point vous voulez économiser, et activez ou désactivez le routage pour chaque fonction IA.
4. Travailler comme d'habitude. Une pastille JEV ou LAYA à côté du sélecteur de modèle indique où le routage est actif. Résultats du routage liste chaque décision, sa raison et son coût par rapport à votre modèle sélectionné.

• Voir la page Routage des modèles
• Faire tourner des modèles d'IA sur votre ordinateur portable

Ce qu'il ne fait pas

Le routage ne rend pas puissant un modèle faible ; il décide quel modèle utiliser. Il ne route pas l'IA locale, où rien n'est facturé et où changer de modèle implique de charger des gigaoctets en mémoire. Et il ne passe jamais outre un modèle que vous choisissez vous-même. Si vous voulez un seul modèle pour toute une session, choisissez-le, ou désactivez le routage pour cette fonction.