Von NumPy zu JAX: was die Google-Bibliothek anders macht

Unveränderliche Arrays, automatische Ableitungen und Kompilierung für GPU und TPU – mit Codebeispielen und einer ehrlichen Einordnung gegenüber PyTorch
Aktualisiert:
Abstract
- #Jax
- #NumPy
- #maschinelles Lernen
- #KI-Entwicklung
- #wissenschaftliches Rechnen
- #Python
- #Automatische Differenzierung
- #GPU
JAX sieht aus wie NumPy, rechnet aber nach anderen Regeln. Für wen sich der Umstieg lohnt und für wen nicht
Wer in Python rechnet, rechnet fast immer mit NumPy. Die Bibliothek ist seit Jahren das Fundament für Datenanalyse, Simulation und Statistik, und ihre Schreibweise kennen praktisch alle, die mit Daten arbeiten. Genau diese Schreibweise hat Google für JAX übernommen. Auf den ersten Blick sieht ein JAX-Programm daher fast aus wie NumPy-Code, nur dass statt import numpy as np die Zeile import jax.numpy as jnp oben steht.
Unter der Oberfläche arbeitet JAX aber grundlegend anders. Es kann Funktionen automatisch ableiten, sie für Grafikkarten (GPU) und Googles KI-Beschleuniger (TPU) kompilieren und sie ohne Umbau auf ganze Datenstapel anwenden. Diese Fähigkeiten machen JAX für Forschungsteams und große KI-Projekte interessant. Sie verlangen aber auch, dass man sich an einige Regeln hält, die NumPy-Nutzer nicht gewohnt sind. Wer diese Regeln kennt, kann gut entscheiden, ob JAX ins eigene Projekt passt.
Was JAX ist und woher es kommt
JAX ist eine Open-Source-Bibliothek, die bei Google Research entstanden ist und seit 2018 öffentlich entwickelt wird. Sie verbindet die Idee von Autograd, einer älteren Bibliothek für automatische Ableitungen, mit XLA, einem Compiler für lineare Algebra, den Google ursprünglich für TensorFlow entwickelt hat.
Das Grundprinzip lässt sich in einem Satz fassen: JAX nimmt gewöhnliche Python-Funktionen, die mit Arrays rechnen, und transformiert sie. Eine Transformation macht aus einer Funktion eine neue Funktion, etwa eine, die die Ableitung berechnet, eine kompilierte und damit schnellere Fassung oder eine, die gleich hundert Eingaben auf einmal verarbeitet. Diese Transformationen lassen sich beliebig kombinieren. Das ist der eigentliche Unterschied zu NumPy, nicht die Geschwindigkeit an sich.
JAX selbst ist bewusst schlank gehalten. Es liefert Arrays, Transformationen und Zufallszahlen, aber keine fertigen Bausteine für neuronale Netze. Dafür gibt es ein eigenes Ökosystem: Flax für Netzarchitekturen, Optax für Optimierungsverfahren und Orbax zum Speichern von Trainingsständen. Laut Google wird JAX intern für das Training großer Modelle eingesetzt, darunter die Gemini-Familie.
Installation und erste Schritte
JAX wird über pip installiert. Für den Einstieg genügt die CPU-Fassung, für Nvidia-Grafikkarten unter Linux gibt es eine Variante mit passenden CUDA-Bibliotheken:
# CPU-Fassung, für Experimente auf dem eigenen Rechner
pip install -U jax
# Variante für Nvidia-GPUs unter Linux (CUDA 13)
pip install -U "jax[cuda13]"
Unter Windows läuft die GPU-Unterstützung nach Angaben des Projekts nur experimentell über das Windows-Subsystem für Linux (WSL2). Auf Google Colab ist JAX bereits vorinstalliert, dort lässt sich ohne eigene Einrichtung auch mit GPU oder TPU experimentieren.
Gleiche Schreibweise, andere Regeln
Die meisten NumPy-Funktionen gibt es in jax.numpy unter demselben Namen. Matrixmultiplikation, Summen, Mittelwerte oder trigonometrische Funktionen schreiben sich identisch. Drei Unterschiede fallen aber schnell auf.
Arrays sind unveränderlich
In NumPy lässt sich ein einzelner Wert in einem Array direkt überschreiben. In JAX geht das nicht, Arrays sind unveränderlich (immutable). Stattdessen erzeugt man eine geänderte Kopie:
import numpy as np
import jax.numpy as jnp
np_array = np.array([1, 2, 3])
np_array[0] = 5 # in NumPy erlaubt
jax_array = jnp.array([1, 2, 3])
# jax_array[0] = 5 # löst in JAX einen TypeError aus
neues_array = jax_array.at[0].set(5) # liefert ein neues Array [5, 2, 3]
Das wirkt zunächst umständlich und nach Speicherverschwendung. Innerhalb kompilierter Funktionen erkennt der Compiler solche Kopien aber meist und rechnet trotzdem an Ort und Stelle. Der eigentliche Grund für die Regel liegt tiefer: Transformationen wie Ableiten oder Kompilieren funktionieren nur zuverlässig, wenn eine Funktion keine versteckten Nebenwirkungen hat.
Funktionen sollen „rein“ sein
JAX erwartet sogenannte reine Funktionen. Gemeint sind Funktionen, deren Ergebnis nur von ihren Eingaben abhängt und die nichts außerhalb von sich verändern, also keine globalen Variablen beschreiben, keine Dateien öffnen und nicht heimlich etwas zählen. Ein print() innerhalb einer kompilierten Funktion wird zum Beispiel nur beim ersten Durchlauf ausgeführt und erst wieder, wenn sich Form oder Typ der Eingaben ändern, was Einsteiger regelmäßig verwirrt.
Zufallszahlen brauchen einen Schlüssel
NumPy verwaltet den Zustand seines Zufallszahlengenerators im Hintergrund. JAX verlangt, dass Sie einen Schlüssel ausdrücklich übergeben und für jede neue Zufallszahl aufteilen. Das macht Experimente reproduzierbar, auch wenn sie parallel auf vielen Rechenkernen laufen:
import jax
schluessel = jax.random.key(42)
schluessel, teil = jax.random.split(schluessel)
werte = jax.random.normal(teil, shape=(3,))
Die vier Transformationen, auf die es ankommt
grad: Ableitungen ohne Formelsammlung
Viele Verfahren des maschinellen Lernens beruhen darauf, eine Fehlerfunktion schrittweise zu verkleinern. Dafür muss man wissen, in welche Richtung sich die Parameter ändern sollen, und genau das sagt die Ableitung, bei mehreren Parametern der Gradient. jax.grad berechnet ihn automatisch, ohne dass jemand eine Formel herleiten muss.
Angenommen, ein Webshop modelliert seinen Umsatz in Abhängigkeit vom Preis, wobei die Nachfrage mit steigendem Preis sinkt. Die Ableitung zeigt, ob eine kleine Preiserhöhung den Umsatz steigern oder senken würde:
import jax
import jax.numpy as jnp
def umsatz(preis):
nachfrage = 1000.0 * jnp.exp(-0.05 * preis) # vereinfachtes Modell
return preis * nachfrage
grenzumsatz = jax.grad(umsatz)
print(grenzumsatz(15.0)) # positiv: Preiserhöhung steigert den Umsatz
print(grenzumsatz(25.0)) # negativ: Preiserhöhung senkt den Umsatz
Diese automatische Differenzierung ist kein numerisches Annähern und kein Formelumformen wie in einem Computeralgebrasystem. JAX verfolgt die Rechenschritte der Funktion und wendet darauf die Kettenregel an. Das funktioniert auch mit Schleifen und Verzweigungen in Python.
jit: kompilieren statt interpretieren
jax.jit übersetzt eine Funktion mit dem XLA-Compiler in optimierten Maschinencode für CPU, GPU oder TPU. Dabei fasst der Compiler mehrere Rechenschritte zusammen und vermeidet Zwischenergebnisse im Speicher. Der erste Aufruf dauert länger, weil kompiliert wird, alle weiteren Aufrufe mit gleich geformten Eingaben sind dann schnell.
Wie groß der Gewinn ist, hängt stark von der Aufgabe ab. Bei großen Matrizen und vielen verketteten Operationen auf einer GPU kann JAX um ein Vielfaches schneller sein als NumPy auf der CPU. Bei kleinen Arrays auf der CPU ist NumPy oft genauso schnell oder schneller, weil der Aufwand für Kompilierung und Datenübergabe überwiegt. Pauschale Versprechen wie „zehnmal schneller“ sollten Sie daher mit eigenen Messungen überprüfen. Weil JAX asynchron rechnet, gehört zu jeder Zeitmessung ein block_until_ready(), sonst misst man nur den Start der Berechnung.
vmap: Stapelverarbeitung ohne Schleifen
jax.vmap macht aus einer Funktion für eine einzelne Eingabe eine Funktion für einen ganzen Stapel. Angenommen, Sie haben eine Funktion geschrieben, die für einen einzelnen Kunden einen Score berechnet. Mit vmap wenden Sie sie auf 100.000 Kunden gleichzeitig an, ohne Python-Schleife und ohne die Funktion umzuschreiben:
import jax
import jax.numpy as jnp
def score(gewichte, merkmale):
return jnp.tanh(jnp.dot(gewichte, merkmale))
gewichte = jnp.array([0.4, -0.2, 0.7])
kunden = jnp.ones((100_000, 3)) # Platzhalter für echte Kundendaten
# in_axes: Gewichte für alle gleich, Kunden zeilenweise
alle_scores = jax.vmap(score, in_axes=(None, 0))(gewichte, kunden)
print(alle_scores.shape) # (100000,)
Verteilung auf mehrere Beschleuniger
Für Rechnungen, die nicht mehr auf eine einzelne GPU passen, bietet JAX Werkzeuge, um Arrays über mehrere Geräte zu verteilen. Frühere Tutorials nutzten dafür meist pmap. Inzwischen empfiehlt das Projekt stattdessen Sharding-Angaben, bei denen der Compiler die Arbeit auf die Geräte aufteilt, oder shard_map für die Aufteilung von Hand. Für Einsteiger ist das selten relevant, für das Training großer Modelle aber einer der wichtigsten Gründe, JAX zu wählen.
Ein lineares Modell in reinem JAX
Wie die Transformationen zusammenspielen, zeigt ein kleines Beispiel: Ein lineares Modell soll aus Datenpunkten die Steigung und den Achsenabschnitt einer Geraden lernen. value_and_grad liefert Fehler und Gradient in einem Schritt, jit kompiliert den gesamten Trainingsschritt:
import jax
import jax.numpy as jnp
def vorhersage(params, x):
steigung, achse = params
return steigung * x + achse
def verlust(params, x, y):
return jnp.mean((vorhersage(params, x) - y) ** 2)
@jax.jit
def trainingsschritt(params, x, y, lernrate=0.02):
wert, gradient = jax.value_and_grad(verlust)(params, x, y)
return params - lernrate * gradient, wert
# Beispieldaten: y = 2x + 1
x = jnp.array([1.0, 2.0, 3.0, 4.0, 5.0])
y = 2.0 * x + 1.0
params = jnp.zeros(2)
for _ in range(2000):
params, wert = trainingsschritt(params, x, y)
print(f"Steigung: {params[0]:.3f}, Achse: {params[1]:.3f}, Fehler: {wert:.5f}")
Bemerkenswert ist, was fehlt: Es gibt keine Klasse für das Modell, keinen versteckten Zustand und keinen Optimierer-Baustein. Die Parameter sind ein gewöhnliches Array, das in die Funktion hinein- und wieder herausgegeben wird. Dieser funktionale Stil macht JAX-Code gut überprüfbar, ist für Teams aus der objektorientierten Welt aber eine Umstellung. In echten Projekten übernehmen Flax den Modellaufbau und Optax das Optimierungsverfahren. Flax empfiehlt neuen Nutzern inzwischen die NNX-Schnittstelle, in der Modelle wie in PyTorch gewöhnliche Python-Objekte sind.
JAX, PyTorch oder TensorFlow?
Die Frage stellt sich in fast jedem KI-Projekt, das eigene Modelle trainiert. Eine grobe Orientierung:
| Kriterium | JAX | PyTorch | TensorFlow |
|---|---|---|---|
| Programmierstil | funktional, Transformationen | objektorientiert, direkt ausgeführt | Keras-Schichten, Graphen |
| Stärken | Forschung, TPUs, große verteilte Trainings, Simulation | breitestes Ökosystem, viele vortrainierte Modelle | etablierte Produktionswerkzeuge, Mobilgeräte |
| Einstieg | mittel, eigene Denkweise | vergleichsweise leicht | leicht mit Keras |
| Verbreitung | vor allem Forschung und große KI-Labore | Standard in Forschung und Industrie | vor allem in bestehenden Systemen |
PyTorch ist heute für die meisten Teams die naheliegende Wahl, weil sich fast jedes veröffentlichte Modell und jedes Tutorial darauf bezieht. JAX spielt seine Stärken aus, wenn sehr viel Rechenleistung gebündelt werden muss, wenn TPUs zum Einsatz kommen oder wenn ungewöhnliche Ableitungen gebraucht werden, etwa in der physikalischen Simulation, der Optimierung oder der Statistik. Eine Brücke bildet Keras 3, das JAX, PyTorch und TensorFlow als austauschbare Rechen-Backends unterstützt. Einen breiteren Vergleich der Frameworks bietet der Infothek-Beitrag Deep-Learning-Frameworks im Vergleich.
Für reine Datenanalyse ist JAX meist die falsche Wahl. Wer Tabellen auswertet, Statistiken berechnet oder Daten bereinigt, ist mit NumPy, pandas oder Polars besser bedient. JAX lohnt sich dort, wo abgeleitet, wiederholt gerechnet oder auf Beschleunigern skaliert wird.
Was JAX für Ihr Team bedeutet
JAX ist kein Ersatz für NumPy, sondern eine Erweiterung für einen bestimmten Zweck: numerische Programme, die abgeleitet, kompiliert und auf viel Hardware verteilt werden sollen. In diesem Bereich gehört es zu den leistungsfähigsten Werkzeugen, die es in Python gibt. Überschätzt wird dagegen der Geschwindigkeitsvorteil im Alltag. Ohne GPU, ohne große Datenmengen und ohne wiederholte Berechnungen bleibt davon wenig übrig.
Unsere Empfehlung: Wer bereits NumPy beherrscht und mit Optimierung, Simulation oder dem Training eigener Modelle zu tun hat, sollte JAX in einem kleinen Experiment ausprobieren. Die Hürde liegt weniger in der Syntax als in der funktionalen Denkweise. Teams, die vor allem vorhandene Modelle anpassen oder produktiv betreiben, bleiben mit PyTorch und seinem Ökosystem in der Regel schneller.
Wer wissenschaftliche Berechnungen oder Simulationen in Python aufbauen oder beschleunigen möchte, findet auf unserer Seite zu Python in der Wissenschaft Beratung und Seminare. Für die Frage, welches Framework zu einem konkreten KI-Vorhaben passt, gibt es Angebote rund um maschinelles Lernen und künstliche Intelligenz.
Häufige Fragen zu JAX
Ist JAX schwer zu lernen, wenn man NumPy kennt?
Die Syntax ist schnell gelernt, weil jax.numpy die meisten NumPy-Funktionen unter gleichem Namen anbietet. Ungewohnt sind die unveränderlichen Arrays, die ausdrücklichen Zufallsschlüssel und die Regel, dass kompilierte Funktionen keine Nebenwirkungen haben sollen. Wer diese drei Punkte verinnerlicht hat, kommt meist zügig voran.
Läuft vorhandener NumPy-Code einfach mit JAX?
Teilweise. Reine Rechenfunktionen lassen sich oft durch Austausch des Imports übernehmen. Code, der Arrays an Ort und Stelle verändert, Zufallszahlen über np.random erzeugt oder von der Datengröße abhängige Verzweigungen enthält, muss umgeschrieben werden, bevor er sich kompilieren lässt.
Braucht man für JAX eine GPU?
Nein. JAX läuft auch auf der CPU und ist dort für Lernzwecke und kleinere Aufgaben gut nutzbar. Die großen Geschwindigkeitsvorteile zeigen sich aber erst auf GPU oder TPU und bei umfangreichen Berechnungen.
Ist JAX ein offizielles Google-Produkt?
JAX wird hauptsächlich von Google entwickelt und steht unter der Apache-2.0-Lizenz. Nach eigener Angabe ist es ein Forschungsprojekt und kein offizielles Google-Produkt, entwickelt wird öffentlich auf GitHub, einen Supportvertrag gibt es nicht. Für Unternehmen bedeutet das: freie Nutzung, aber kein garantierter Support außer über die Community und Cloud-Anbieter.
Kategorien
Schlagworte