Quels modèles IA hors ligne valent la peine sur un ordinateur portable d'élève

L'idée qu'exécuter de l'IA en local exige du matériel coûteux a environ deux ans de retard. La quantification et l'arrivée de modèles plus petits mais mieux entraînés ont suffisamment abaissé le seuil d'entrée pour qu'un portable scolaire de milieu de gamme devienne une cible crédible.

Ce qui n'a pas changé, c'est que le choix du modèle compte bien plus que dans le cloud, puisque c'est vous qui payez la mémoire.

Les trois seuls chiffres qui comptent

Un modèle en 4 bits comptant entre 3 et 8 milliards de paramètres est le point d'équilibre idéal sur un portable. Il tient confortablement en mémoire, répond vite et gère les tâches que les élèves lui apportent réellement.

• Le nombre de paramètres — grossièrement, ce que le modèle sait. Plus il y en a, mieux c'est, et plus c'est lourd.
• La quantification — la précision à laquelle les poids sont stockés. Le 4 bits divise à peu près par quatre le coût mémoire par rapport au 16 bits, pour une perte de qualité que la plupart des élèves ne remarqueront pas sur les tâches quotidiennes.
• La longueur de contexte — la quantité de texte que le modèle peut tenir à la fois. C'est elle qui détermine si vous pouvez lui donner un chapitre entier ou seulement quelques paragraphes.

Ce que les modèles locaux savent déjà très bien faire

• Résumer un chapitre ou une transcription.
• Expliquer une notion au niveau choisi, autant de fois qu'il le faut et sans jamais s'impatienter.
• Extraire le texte d'une photo d'écriture manuscrite ou d'une fiche d'exercices.
• Générer des questions d'entraînement à partir d'un document fourni.
• Réécrire pour gagner en clarté, changer de ton ou ajuster le niveau de lecture.
• Écrire de petits programmes bien spécifiés et expliquer du code existant.
• Traduire et corriger des exercices de langue.

Là où le cloud garde l'avantage

C'est un écart réel, pas une précaution marketing. La réponse pratique consiste à travailler en local par défaut, avec une voie d'escalade assumée — c'est exactement l'organisation de Grout : des modèles embarqués par défaut et des modèles Premium dans le cloud en option, quand une tâche le justifie.

• Les raisonnements longs en plusieurs étapes, où une petite erreur se propage.
• Tout ce qui exige de connaître l'actualité récente — chaque modèle local a une date de coupure et n'a pas de navigateur.
• Les documents très longs, où une grande fenêtre de contexte fait toute la différence.
• Les domaines de spécialité pointus que seul un très grand modèle a absorbés.

Ce dont telle ou telle machine est capable

La mémoire unifiée d'Apple Silicon vaut ici bien plus que son chiffre ne le laisse penser, puisque le GPU peut adresser tout le pool. Un MacBook Air de 16 Go est une machine d'IA locale étonnamment solide.

• 8 Go de RAM : petits modèles de texte en 4 bits, OCR par vision, génération d'images légère. C'est utilisable, et hors ligne.
• 16 Go de RAM : modèles moyens avec un contexte plus long, vision complète et génération d'images confortable. C'est le point d'équilibre.
• Apple Silicon ou GPU dédié : grands modèles, génération rapide et export vidéo accéléré par le matériel.

Quelques conseils d'installation

• Téléchargez les modèles sur un réseau rapide avant d'en avoir besoin — c'est la seule étape qui exige une connexion.
• Branchez la machine sur secteur pour les générations longues : l'inférence locale consomme beaucoup de batterie.
• Gardez un petit modèle rapide pour les questions courtes et un plus gros pour le vrai travail, plutôt que de tout faire passer par le plus gros modèle qui tient en mémoire.
• Sur un appareil de l'établissement, demandez au service informatique de préinstaller les modèles dans l'image système afin que les portables arrivent prêts à l'emploi.