Ein Konsortium deutscher Forschungsinstitute hat Soofi S 30B-A3B veröffentlicht, ein vollständig offenes Sprachmodell samt Gewichten, Trainingscode und kompletter Datenauflistung. Trainiert wurde das Modell in der Industrial AI Cloud der Telekom in München.
drweb.de als bevorzugte Quelle auf Google hinzufügenQualitätsgeprüfte Inhalte direkt in Google News & DiscoverJetzt hinzufügen
Soofi S 30B-A3B schlägt nach dem Bericht des Konsortiums die bisherigen Spitzenreiter unter den vollständig offenen Modellen, Olmo 3 32B vom Allen Institute und Apertus 70B aus der Schweiz. 31,6 Milliarden Parameter stecken im Modell, aktiv rechnen pro Token aber nur rund 3,2 Milliarden. Für Firmen mit eigener Hardware verschiebt diese Rechnung die Kostenfrage deutlich.
Das Wichtigste in Kürze
- Mixture-of-Experts-Modell mit hybrider Mamba-Architektur, übernommen von Nvidias Nemotron 3 Nano
- 27 Billionen Trainings-Token, deutscher Anteil steigt in Phase zwei auf 15,3 Prozent
- Platz eins auf allen deutschen Benchmarks der Vergleichsgruppe, Aggregat 79,1 Punkte
- Gewichte, Code und Datenliste sind offen, die finale Lizenz fehlt noch
Warum reichen 3,2 Milliarden aktive Parameter?
Sparsame Architektur ist der Kern des Modells. Das Konsortium hat den Aufbau von Nvidias Nemotron 3 Nano unverändert übernommen, eine Mischung aus Mamba-2-Schichten und klassischen Attention-Schichten. Nur 6 der 52 Schichten führen überhaupt einen KV-Cache, den Speicher also, der bei langen Eingaben zum Flaschenhals wird.
Der Gewinn zeigt sich beim Durchsatz. Bei 40.000 Token Kontext und 32 parallelen Anfragen erzeugt Soofi S rund achtmal mehr Token pro Sekunde und GPU als dichte Modelle zwischen 14 und 24 Milliarden Parametern. Von 4.000 bis 256.000 Token bleibt die Kurve fast flach, während dichte Konkurrenten wie Apertus 70B abstürzen. Wie unterschiedlich sparsame Architekturen im Alltag anschlagen, zeigt auch der Versuch, ein Riesenmodell ohne teure Grafikkarte zu betreiben.
Wie deutsch ist das Training wirklich?
Deutsch als Hauptsprache statt als Restposten unterscheidet Soofi S von den meisten offenen Modellen. In der ersten Trainingsphase macht Deutsch 7,2 Prozent der Mischung aus, in der zweiten 15,3 Prozent. Zum Vergleich: Im Nemotron-Rezept von Nvidia kommen alle Nicht-Englisch-Sprachen zusammen auf etwa 5 Prozent. Als Quellen dienen unter anderem HPLT-Webtexte, das German-Commons-Korpus sowie ein kommerziell lizenzierter Genios-Bestand mit 193 Millionen Zeitungsartikeln aus 916 deutschen Publikationen. Den vollständigen Pretraining-Report hat das Team offen gelegt.
Ein offenes Modell aus deutscher Hand nützt dem Mittelstand nur, wenn die Lizenz am Ende auch den kommerziellen Betrieb erlaubt. Bis dahin bleibt Soofi S ein starkes Versprechen, aber noch kein Werkzeug für die Produktion.
— Michael Dobler, Herausgeber Dr. Web
Was bringt der Standort München?
253.000 GPU-Stunden liefen zwischen März und Mai auf bis zu 512 Nvidia-B200-Karten in der Industrial AI Cloud der Telekom. Laut Bericht arbeitet die Anlage vollständig mit erneuerbarem Strom, kühlt mit Wasser aus dem Eisbach und speist die Abwärme in den Tucherpark. Hinter dem Projekt stehen Fraunhofer IAIS und IIS, das DFKI, die TU Darmstadt und weitere Häuser, koordiniert vom KI Bundesverband und finanziert vom Bundeswirtschaftsministerium.
Lohnt der Blick für lokale Setups?
Schwächen benennt der Bericht selbst. Bei deutscher Wettbewerbsmathematik erreicht Soofi S nur 56 Punkte, Qwen3.5 35B-A3B kommt auf 76,5. Beim Extrahieren häufiger Wörter aus langen Texten fällt die Trefferquote jenseits von 32.000 Token auf rund 3 Prozent. Wenig Weltwissen bei 3 Milliarden aktiven Parametern gehört zum Deal.
Für den Test auf eigener Hardware spricht trotzdem viel, zumal rund 99 Prozent der Trainingsmischung nachvollziehbar bleiben. Wir haben schon souveräne Modelle gesehen, die nach der Pressekonferenz in der Schublade verschwanden. Prüfen Sie das Basismodell an einer echten Aufgabe aus Ihrem Haus, halten Sie die Beschaffung aber zurück, bis die Lizenzfrage geklärt ist. Welche offenen Alternativen sonst infrage kommen, ordnet der LLM-Ratgeber ein.
