Echte Modelle,
auf Ihrer eigenen Hardware.
Grout bringt die Inferenzserver mit und verwaltet sie für Sie. Text, Vision, Bildgenerierung, Sprache und Embeddings laufen lokal mit Metal- oder CUDA-Beschleunigung — und wer bereits Ollama betreibt oder einen OpenRouter-Key hat, nutzt auch die.
Was lokal läuft
Fünf Inferenz-Engines, eine App, kein Terminal.
Textgenerierung
Ein llama.cpp-Server betreibt quantisierte GGUF-Modelle mit Metal auf Apple Silicon und CUDA auf NVIDIA-Hardware. Grout startet, überwacht und beendet ihn für Sie — kein Schritt im Terminal.
Vision
Vision-Modelle werden mit ihrem multimodalen Projektor geladen. Eine fotografierte Seite Handschrift zu lesen oder ein Diagramm zu beschreiben, funktioniert damit auf derselben lokalen Runtime.
Bildgenerierung
Ein stable-diffusion.cpp-Server übernimmt lokale Bildgenerierung und -bearbeitung, mit Modellgrößen passend zum Rechner, auf dem er installiert ist.
Sprache
Parakeet für Speech-to-Text, ein Modell zur Erkennung des Äußerungsendes für den Sprecherwechsel, Silero für Voice Activity Detection und lokale Text-to-Speech-Stimmen.
Embeddings und Retrieval
Lokale Embedding-Modelle füttern einen Vektorindex auf der Festplatte. Genau das macht semantische Suche über die eigenen Lehrbücher und Notizen offline möglich.
Ollama, falls schon vorhanden
Richten Sie Grout auf einen lokalen Ollama-Server, um Modelle, die Sie ohnehin verwalten, zu listen, zu ziehen und zu nutzen — statt ein zweites Modellverzeichnis zu pflegen.
Eigene API-Keys
Bringen Sie einen OpenRouter-, OpenAI- oder Together-Key mit, wenn Sie ein Frontier-Modell aus der Cloud wollen. Keys werden verschlüsselt auf Ihrem Rechner gespeichert, und der Verbrauch wird pro Projekt ausgewiesen.
Hardwarebewusste Voreinstellungen
Grout liest RAM und GPU aus und empfiehlt Modellgrößen, die tatsächlich laufen, statt Sie etwas herunterladen zu lassen, das nicht lädt.
Modellkatalog
Der kuratierte Katalog in der App. Mehr lässt sich über Ollama nachladen, und Premium-Cloud-Modelle stehen über Merits bereit.
| Kategorie | Modelle |
|---|---|
| Text | Qwen3.5 4B und 9B · Qwen3 4B · Gemma 4 12B und E4B · Llama 3.2 1B und 3B · DeepSeek-R1 Distill 8B · Phi-3.5 · Mistral |
| Vision | Qwen3-VL 2B, 4B und 8B · Gemma 4 E4B · InternVL3 1B · Kimi-VL A3B Thinking · MiniCPM-o 2.6 · SmolVLM 256M und Instruct · LFM2-VL 450M · Qwen2-VL 2B |
| Bildgenerierung | FLUX.1 schnell · FLUX.2 Klein · Ideogram 4 · Stable Diffusion 2.1 · Bonsai Image 4B |
| Sprache | Parakeet TDT-CTC 110M, 0.6B und 1.1B · Echtzeit-Äußerungsende 120M · Silero VAD · lokale TTS-Stimmen |
| Embeddings | EmbeddingGemma 300M · BGE small, base, large und M3 · nomic-embed-text · all-MiniLM-L6-v2 · multilingual-e5-large |
| Bild-Werkzeuge | U²-Net Hintergrundentfernung · Upscaling · AVIF-Konvertierung |
Lokal zuerst, Cloud wenn sie es verdient
Die ehrliche Position zu lokalen Modellen lautet: Sie sind ausgezeichnet in fast allem, was ein Schüler tut, und zweitbeste Wahl beim schwersten Denken. Ein Tool, das in eine der beiden Richtungen etwas anderes behauptet, will Ihnen etwas verkaufen.
Die Anordnung hier ist deshalb eine Voreinstellung und keine Einschränkung. Lokale Modelle erledigen Zusammenfassen, Erklären, Handschriftlesen, Diagramme und Übungsfragen, kleine Programme und alltägliche Schreibarbeit — sofort, kostenlos, offline. Wenn eine Aufgabe ein Frontier-Modell wirklich rechtfertigt, eskalieren Sie bewusst: Premium-Modelle über Merits oder Ihr eigener API-Key, falls Sie schon einen haben.
Warum es zählt, dass die Server mitgeliefert werden
Lokale KI zu betreiben bedeutete bislang: eine Python-Umgebung, eine nicht passende CUDA-Version, eine GGUF-Datei aus einem Forum und ein Terminalfenster. Als Hobby in Ordnung, als Produkt furchtbar. Hier stecken die Engines in der App, der Modellkatalog ist kuratiert, und Grout liest Ihre Hardware, um Größen zu empfehlen, die auch laden.
Die Hintertür bleibt offen. Richten Sie es auf Ollama, hinterlegen Sie eigene Keys, tauschen Sie das Modell hinter jedem Tool. Nichts ist zugesperrt.
Häufige Fragen
Welche KI-Modelle laufen lokal auf meinem Rechner?+
Grout liefert einen kuratierten Katalog mit Text (Qwen3.5, Gemma 4, Llama 3.2, DeepSeek-R1-Distills, Phi, Mistral), Vision (Qwen3-VL, InternVL3, Kimi-VL, MiniCPM-o, SmolVLM), Bildgenerierung (FLUX.1 schnell, FLUX.2 Klein, Ideogram 4, Stable Diffusion 2.1), Sprache (Parakeet, Silero VAD, lokale TTS) und Embeddings (EmbeddingGemma, BGE, nomic-embed). Alle sind quantisiert, damit sie auf gewöhnlichen Laptops laufen.
Muss ich llama.cpp oder Ollama selbst installieren?+
Nein. Die Inferenzserver stecken in der App, und Grout verwaltet ihren Lebenszyklus. Wenn Sie ohnehin Ollama betreiben, können Sie Grout stattdessen darauf richten — das ist aber Bequemlichkeit, keine Voraussetzung.
Kann ich meinen eigenen OpenRouter- oder OpenAI-API-Key nutzen?+
Ja. Hinterlegen Sie einen OpenRouter-, OpenAI- oder Together-Key, und diese Modelle erscheinen neben den lokalen. Keys werden verschlüsselt auf Ihrem Rechner gespeichert, und Verbrauch und Kosten werden pro Projekt ausgewiesen, damit ein geteilter Key nicht zur Überraschungsrechnung wird.
Nutzt Grout meine GPU?+
Ja, wo eine vorhanden ist. Auf Apple Silicon kommt Metal zum Einsatz, auf unterstützter NVIDIA-Hardware CUDA — für Text, Bildgenerierung und Sprache. Auf einem Rechner ohne beides läuft alles weiterhin auf der CPU, mit kleineren Modellen.
Wie viel Speicherplatz brauchen die Modelle?+
Ein kleines Textmodell sind ein paar hundert Megabyte; ein leistungsfähiges 4-Bit-Modell im Bereich von vier bis neun Milliarden Parametern typischerweise zwei bis sechs Gigabyte. Bildmodelle sind größer. Sie laden nur herunter, was Sie nutzen wollen, und Modelle lassen sich entfernen und später erneut laden.
Was ist Quantisierung, und schadet sie der Qualität?+
Quantisierung speichert Modellgewichte in reduzierter Präzision — 4 Bit oder 8 Bit statt 16 Bit — und senkt den Speicherbedarf um ein Mehrfaches. Der Qualitätspreis ist klein und bei den Aufgaben, die Schüler mitbringen, meist nicht bemerkbar. Es ist die eine Technik, die ein leistungsfähiges Modell auf einen Schullaptop bringt.
Erst das Studio laden, dann die Modelle
Kostenlos für Windows und macOS. Die Inferenzserver sind enthalten — es gibt nichts weiter zu installieren.
Grout kostenlos herunterladen