Ein KI-Modell mit gerade einmal 26 Millionen Parametern soll zuverlässig Werkzeuge ansteuern, und das auf einem Smartphone oder sogar einer Smartwatch. Das US-Startup Cactus Compute hat dafür ein großes Google-Modell auf Briefmarkengröße geschrumpft.
drweb.de als bevorzugte Quelle auf Google hinzufügenQualitätsgeprüfte Inhalte direkt in Google News & DiscoverJetzt hinzufügen
Das Wichtigste in Kürze
Needle ist ein offenes Modell mit 26 Millionen Parametern, das Cactus Compute aus Googles Gemini 3.1 destilliert hat. Die Spezialität liegt im Function Calling, also im strukturierten Ansteuern externer Werkzeuge. Die Gewichte stehen unter MIT-Lizenz frei auf Hugging Face zur Verfügung, das Modell läuft lokal auf Endgeräten und erreicht in der Produktion rund 6000 Token pro Sekunde beim Prefill.
Was bedeutet Destillation hier konkret?
Bei der Destillation lernt ein kleines Modell von einem großen, indem es dessen Verhalten nachbildet. Cactus Compute hat Needle auf einer einzelnen, eng umrissenen Aufgabe trainiert: dem Single-Shot Function Calling.
Das Modell bekommt eine Nutzeranfrage und eine Liste verfügbarer Werkzeuge und gibt den passenden Werkzeugaufruf samt Parametern zurück. Genau das ist die Mechanik, die KI-Assistenten brauchen, um etwa eine Wetterabfrage oder einen Kalendereintrag auszulösen.
Nach Angaben der Entwickler schlägt Needle bei dieser einen Aufgabe spezialisierte Konkurrenten wie FunctionGemma-270m und Qwen-0.6B, obwohl diese teils mehr Kapazität mitbringen. In freien Gesprächen sind die größeren Modelle weiterhin überlegen.
Warum ist das für den Mittelstand interessant?
Der entscheidende Punkt liegt im Wort lokal. Ein Modell dieser Größe läuft auf dem Gerät selbst, ohne Datenübertragung in eine Cloud. Für Unternehmen mit Datenschutzanforderungen ist das ein gewichtiges Argument, weil sensible Eingaben das Gerät nicht verlassen.
Cactus Compute zielt ausdrücklich auf Endgeräte wie Telefone, Uhren und Datenbrillen. Wer im DACH-Mittelstand über KI-gestützte Funktionen in eigenen Apps nachdenkt, bekommt mit offenen, winzigen Modellen eine Alternative zur dauerhaften Anbindung an einen großen Cloud-Anbieter. Die offene MIT-Lizenz erlaubt zudem das Feintuning auf eigene Werkzeuge per Web-Oberfläche.
Die spannende Bewegung im KI-Markt findet gerade nicht bei den größten Modellen statt, sondern bei den kleinsten. Ein Function-Calling-Modell, das offline auf dem Handy läuft, löst für viele Mittelständler das Datenschutzproblem, bevor es überhaupt entsteht.
Markus Seyfferth, Chefredakteur Dr. Web
Wer prüfen will, ob ein solches Modell zu eigenen Anwendungsfällen passt, kann die offenen Gewichte direkt testen und auf die eigenen Werkzeuge feintunen. Der Aufwand bleibt überschaubar, das Modell lässt sich laut Anbieter sogar auf einem normalen Arbeitsrechner anpassen.
Mehr Newshunger?
