Warum jedes Sprachmodell ein Kompressor ist

Kompression und Vorhersage sind mathematisch dasselbe Problem, rechnet die Entwicklerin Annie Sexton in einem Beitrag für den Anbieter ngrok vor.^[1] Ein Programm, das den nächsten Buchstaben zuverlässig errät, braucht weniger Bits, um ihn zu speichern. Große Sprachmodelle beherrschen dieses Erraten besser als jedes klassische Packprogramm.

drweb.de als bevorzugte Quelle auf Google hinzufügenQualitätsgeprüfte Inhalte direkt in Google News & DiscoverJetzt hinzufügen

Das Wichtigste in Kürze

• Ein Sprachmodell schätzt für jedes nächste Zeichen eine Wahrscheinlichkeit, und genau diese Schätzung ist die Grundlage jeder Kompression.
• GPT-2 komprimiert einen Testsatz auf 10 Prozent seiner Größe, ein einfaches Kontextmodell nur auf 24 Prozent.
• Google DeepMind zeigte, dass ein Textmodell sogar Bilder und Tonaufnahmen stärker verdichtet als die Spezialformate PNG und FLAC.
• Fürs Web bleibt Brotli die vernünftige Wahl, weil ein Sprachmodell mehr Speicher kostet, als sich damit einsparen lässt.

Warum ist Kompression dasselbe wie Vorhersage?

Wahrscheinliche Zeichen kosten weniger Speicher, unwahrscheinliche mehr. Die Informationstheorie beziffert diesen Bedarf als negativen Logarithmus der Wahrscheinlichkeit, sodass ein fast sicheres Zeichen nahezu null Bits braucht und ein überraschendes viele. Auf ein „q“ folgt im Englischen mit rund 0,999 Wahrscheinlichkeit ein „u“, der Speicherbedarf dafür fällt von etwa 5,16 auf nahezu 0 Bit.^[1]

Ein Kompressor setzt diese Vorhersage direkt um und kodiert erwartete Zeichen kurz, überraschende lang. Bessere Vorhersage bedeutet damit zwangsläufig bessere Kompression, und kein Verfahren sagt Text derzeit genauer voraus als ein Sprachmodell.

Wie schlägt ein Textmodell die Spezialpacker?

An einem Satz von Charles Dickens rechnet Sexton den Abstand vor. Ein simples Modell, das nur das jeweils vorige Zeichen kennt, drückt den Text auf 24 Prozent seiner Größe. GPT-2 schafft 10 Prozent, weil das Modell den größeren Zusammenhang berücksichtigt.^[1]

Eine Untersuchung von Google DeepMind belegt den Effekt noch deutlicher. Das Modell Chinchilla mit 70 Milliarden Parametern presste Bildausschnitte aus ImageNet auf 43,4 Prozent, wo das Format PNG bei 58,5 Prozent stehen bleibt, und Tonaufnahmen auf 16,4 Prozent gegenüber 30,3 Prozent bei FLAC.^[2] Ein Textmodell schlägt damit Werkzeuge, die eigens für Bild und Ton entwickelt wurden. Bei den Bildformaten selbst treibt der Wettbewerb die Kompression ebenfalls voran, wie der Standard-Support für JPEG XL zeigt.

Was heißt das für Website-Betreiber?

Aus dem Prinzip folgt gerade keine Empfehlung, ein Sprachmodell als Packprogramm einzusetzen. Sexton warnt ausdrücklich davor, denn eine HTTP-Antwort mit einem Modell zu komprimieren verschickt Gigabyte an Gewichten, nur um wenige Kilobyte zu sparen.^[1] Für den Alltag im Web bleiben die etablierten Verfahren die vernünftige Wahl, denn beim Besucher entscheidet die Ladezeit über Abbruch oder Verweildauer.

Praktisch zählt vor allem eines: Brotli aktivieren. Der von Google entwickelte Algorithmus verkleinert Text-, CSS- und JavaScript-Dateien um rund 70 Prozent, gzip kommt auf etwa 65 Prozent.^[3] Brotli läuft in nahezu jedem Browser und entpackt mindestens so schnell wie gzip, komprimiert aber langsamer. Statische Dateien deshalb einmal beim Build oder im CDN vorverdichten, dann greift der Vorteil ohne Tempoverlust.

Für Entscheider lohnt der Perspektivwechsel doppelt. Effizienz schlägt Größe, denn beim Einkauf von KI zählt nicht das größte Modell, sondern das, dessen Vorhersagequalität den Preis rechtfertigt, weshalb viele Unternehmen auf schlankere, quelloffene Modelle setzen. Beim eigenen Webauftritt bringt eine sauber gesetzte Kompression oft mehr Tempo als jedes zusätzliche Plugin.

Quellen

[1] ngrok (Annie Sexton): „Compression is prediction“

[2] Grégoire Delétang u. a. (Google DeepMind): „Language Modeling Is Compression“

[3] DebugBear: „Brotli vs. GZIP: Improve Page Speed With HTTP Compression“

Mehr Newshunger?

• Hugging Face: Wie verdient das GitHub der KI sein Geld?
• Kokoro: Sprachsynthese läuft lokal auf der CPU statt in der Cloud
• Xiaomi öffnet TabLDM: ein KI-Modell für Tabellen statt Texte
• Muse Spark 1.3: Metas stärkstes KI-Modell im Benchmark
• Rowboat: die quelloffene, lokale Alternative zu Claude Desktop