Qué modelos de IA sin conexión merece la pena ejecutar en un portátil de estudiante

La idea de que ejecutar IA en local exige un equipo caro lleva unos dos años desfasada. La cuantización y la aparición de modelos más pequeños y mejor entrenados han bajado el listón lo suficiente como para que un portátil escolar de gama media sea un objetivo perfectamente realista.

Lo que no ha cambiado es que la elección del modelo importa más que en la nube, porque aquí la memoria la pagas tú.

Los tres únicos números que importan

Un modelo de 4 bits de entre 3.000 y 8.000 millones de parámetros es el punto óptimo para un portátil. Cabe holgadamente en memoria, responde rápido y resuelve las tareas que el alumnado le plantea de verdad.

• Número de parámetros: aproximadamente cuánto sabe el modelo. Cuantos más, mejor y más pesado.
• Cuantización: la precisión con la que se guardan los pesos. Pasar a 4 bits reduce el consumo de memoria más o menos a la cuarta parte frente a 16 bits, con una pérdida de calidad que la mayoría del alumnado no notará en las tareas del día a día.
• Longitud de contexto: cuánto texto puede manejar de una sola vez. Es lo que determina si puedes darle un tema entero o solo unos párrafos.

En qué son ya buenos los modelos locales

• Resumir un tema o una transcripción.
• Explicar un concepto al nivel que elijas, tantas veces como haga falta y con paciencia.
• Extraer texto de la foto de unos apuntes manuscritos o de una ficha.
• Generar ejercicios de práctica a partir del material que les des.
• Reescribir para ganar claridad o ajustar el tono o el nivel de lectura.
• Programas pequeños y bien especificados, y explicar código ya escrito.
• Traducir y corregir prácticas de idiomas.

Dónde sigue ganando la nube

Es una diferencia real, no una advertencia de marketing. La respuesta práctica es usar lo local por defecto con una vía de escalado deliberada, que es justo como está planteado Grout: modelos en el propio dispositivo por defecto y modelos Premium en la nube de forma opcional cuando la tarea lo justifica.

• Razonamientos largos de varios pasos, donde un error pequeño se va acumulando.
• Cualquier cosa que requiera conocer hechos recientes: todo modelo local tiene una fecha de corte y no tiene navegador.
• Documentos muy largos, donde tener una ventana de contexto grande lo es todo.
• Ámbitos muy especializados que solo un modelo enorme ha llegado a absorber.

Qué puede hacer cada equipo

La memoria unificada de Apple Silicon rinde por encima de su cifra, porque la GPU puede direccionar todo el conjunto. Un MacBook Air de 16 GB es una máquina de IA local sorprendentemente potente.

• 8 GB de RAM: modelos de texto pequeños de 4 bits, OCR con visión y generación de imágenes ligera. Utilizable y sin conexión.
• 16 GB de RAM: modelos medianos con contexto más largo, visión completa y generación de imágenes cómoda. Este es el punto óptimo.
• Apple Silicon o una GPU dedicada: modelos grandes, generación rápida y exportación de vídeo con aceleración por hardware.

Notas prácticas de instalación

• Descarga los modelos con una red rápida antes de necesitarlos: es el único paso que requiere conexión.
• Enchufa el equipo para las generaciones largas; la inferencia local castiga bastante la batería.
• Ten un modelo pequeño y rápido para preguntas puntuales y otro más grande para el trabajo de verdad, en lugar de pasarlo todo por el modelo más grande que te quepa.
• En un equipo del centro, pide al departamento de informática que precargue los modelos en la imagen del portátil para que lleguen listos para usar.