Der Apple Neural Engine sitzt in jedem iPhone, iPad und Mac, doch für KI-Lasten liegt der Beschleuniger meist brach. Ein neues Paper zerlegt den Chip bis hinunter zur Firmware. Die gemessene Leistung weicht deutlich vom Datenblatt ab.
drweb.de als bevorzugte Quelle auf Google hinzufügenQualitätsgeprüfte Inhalte direkt in Google News & DiscoverJetzt hinzufügen
Der Apple Neural Engine beschleunigt seit dem A11-Chip von 2017 und dem M1 von 2020 Matrix-Rechnungen auf Apple-Geräten, bleibt für Sprachmodelle aber weitgehend ungenutzt. Ein auf arXiv veröffentlichtes Paper liefert nun ein gemessenes Bild der Hardware, gewonnen aus direkter Messung und der Analyse von Treiber und Firmware.
Das Wichtigste in Kürze
- Der Apple Neural Engine steckt in über zwei Milliarden Geräten, ist aber nur über Apples Core ML ansprechbar, das die Hardware als Blackbox verwaltet.
- Reverse-Engineering zeigt rund 19 Billionen Gleitkomma-Operationen pro Sekunde statt der beworbenen 38 Billionen Rechenoperationen.
- Offene Projekte umgehen Core ML inzwischen und ermöglichen erstmals direktes Programmieren samt Training auf dem Chip.
Warum liegt so viel Rechenleistung brach?
Blackbox. Apple gibt den Beschleuniger nur über das Framework Core ML frei, und dieser Vermittler entscheidet selbst, ob eine Rechnung auf Prozessor, Grafikeinheit oder Neural Engine landet. Entwickler können die Ausführung weder erzwingen noch einsehen, und ein Training auf dem Chip sieht der offizielle Weg gar nicht vor. So bleibt ein großer Teil der verbauten Rechenkraft im Alltag ungenutzt.
Was misst das Paper unter der Haube?
Roofline. Die Autoren dokumentieren Datenpfad, Speichergrenzen und das Befehlsprotokoll bis zur Firmware. Eine frühere Messreihe hatte bereits gezeigt, dass die reale 16-Bit-Leistung bei rund 19 Billionen Operationen liegt, samt einer spürbaren Leistungsklippe oberhalb von 32 MB SRAM. Solche Zahlen helfen Entwicklern, die den Beschleuniger jenseits von Core ML ansprechen wollen.
Was bringt das deutschen Unternehmen?
Datenhoheit. KI direkt auf dem Endgerät verarbeitet sensible Inhalte, ohne dass eine Zeile das Haus verlässt, ein Pluspunkt unter der DSGVO. Hardware, die längst im Betrieb steht, erledigt dann Aufgaben, für die sonst Cloud-Verträge nötig wären. Welche Modelle sich für den lokalen Betrieb eignen, ordnet der LLM-Ratgeber ein, und kompakte Kandidaten zeigt das Beispiel Needle.
Die spannendste KI-Hardware ist oft die, für die Unternehmen längst bezahlt haben. Solange ein Beschleuniger in jedem Mac hinter einer Blackbox schlummert, bleibt Datenhoheit ein ungenutztes Versprechen.
— Markus Seyfferth, Chefredakteur Dr. Web
Lohnt der Aufwand schon heute?
Beobachten. Für den Mittelstand zählt vorerst, die Entwicklung im Blick zu behalten und bei datensensiblen Anwendungen On-Device-Optionen früh zu prüfen. Der Chip verhält sich heute wie ein Dienstwagen in der Garage, dessen Schlüssel allein der Hersteller verwahrt. Öffnet sich der Zugang weiter, ändert sich die Rechnung für lokale KI spürbar. Sondieren Sie deshalb, welche Apple-Geräte im Bestand für künftige On-Device-Modelle taugen, statt vorschnell neue Hardware zu kaufen.
Mehr #KI News
