Apache Spark erklärt: große Datenmengen verteilt verarbeiten

Wie die verbreitete Open-Source-Engine arbeitet, was Spark 4 mitbringt und wann sich der Aufwand für ein Team lohnt
Aktualisiert:
Abstract
- #Apache Spark
- #Big Data
- #Echtzeitverarbeitung
- #Machine Learning
- #PySpark
- #Spark SQL
- #Structured Streaming
- #Datenverarbeitung
DataFrames, Spark SQL, Structured Streaming: was Spark heute leistet und wo seine Grenzen liegen
Angenommen, ein Onlinehändler will wissen, welche Artikel in den letzten drei Jahren in welchen Regionen zusammen gekauft wurden. Die Bestelldaten liegen als einige Hundert Gigabyte Parquet-Dateien in einem Objektspeicher. Ein einzelner Laptop mit pandas gibt hier schnell auf, weil die Daten nicht in den Arbeitsspeicher passen. Genau für solche Fälle ist Apache Spark gebaut: Es zerlegt die Arbeit in viele kleine Aufgaben und verteilt sie auf mehrere Rechner, die parallel rechnen.
Spark ist seit Jahren die am weitesten verbreitete Open-Source-Engine für die Verarbeitung großer Datenmengen. Mit Spark 4 hat das Projekt einige Altlasten abgeworfen. Dieser Überblick erklärt, wie Spark arbeitet, was „Echtzeit“ bei Spark tatsächlich bedeutet, wie ein einfaches PySpark-Programm aussieht und wann Sie besser zu einem kleineren Werkzeug greifen.
Woher Spark kommt und welches Problem es löst
Spark entstand ab 2009 im AMPLab der University of California in Berkeley, maßgeblich entwickelt von Matei Zaharia. Damals war Hadoop MapReduce der Standard für verteilte Datenverarbeitung. MapReduce teilt eine Aufgabe in zwei Phasen: Im Map-Schritt werden Datensätze in Schlüssel-Wert-Paare zerlegt, im Reduce-Schritt werden alle Werte zu einem Schlüssel zusammengefasst. Dazwischen liegt der sogenannte Shuffle, bei dem Daten über das Netzwerk zu dem Rechner wandern, der für einen Schlüssel zuständig ist.
Das Prinzip funktioniert, hat aber einen Haken: MapReduce schreibt nach jedem Schritt Zwischenergebnisse auf die Festplatte. Für eine einzelne Auswertung ist das verkraftbar. Für Algorithmen, die viele Male über dieselben Daten laufen, etwa beim Training eines Machine-Learning-Modells, wird es quälend langsam.
Spark setzt hier an. Es hält Zwischenergebnisse nach Möglichkeit im Arbeitsspeicher und plant eine ganze Kette von Verarbeitungsschritten auf einmal, statt jeden Schritt einzeln abzuarbeiten. Das Projekt kam 2013 zur Apache Software Foundation und ist seit 2014 ein Top-Level-Projekt. Die oft zitierte Angabe „bis zu 100-mal schneller als MapReduce“ stammt aus den frühen Benchmarks des Projekts und galt für iterative Berechnungen im Arbeitsspeicher. Für typische Auswertungen ist der Abstand deutlich kleiner, und mit dem heutigen Hadoop-MapReduce vergleicht ohnehin kaum noch jemand: Spark hat es in den meisten Unternehmen ersetzt.
Wie Spark arbeitet: Driver, Executors und verzögerte Ausführung
Ein Spark-Programm besteht aus zwei Rollen. Der Driver ist das Steuerprogramm: Er nimmt Ihren Code entgegen, plant die Arbeit und verteilt sie. Die Executors sind Arbeitsprozesse auf den Rechnern eines Clusters, die jeweils einen Teil der Daten bearbeiten. Ein Clustermanager, heute meist Kubernetes oder der Dienst eines Cloud-Anbieters, stellt die Rechenressourcen bereit.
Die Daten selbst teilt Spark in Partitionen auf, also Teilstücke, die unabhängig voneinander verarbeitet werden können. Liegen 200 Parquet-Dateien in einem Verzeichnis, arbeiten im einfachsten Fall viele Executors gleichzeitig an verschiedenen Dateien.
Wichtig für das Verständnis ist die verzögerte Ausführung (Lazy Evaluation). Wenn Sie in Spark eine Tabelle filtern, gruppieren und sortieren, passiert zunächst nichts. Spark merkt sich nur die Schritte. Erst wenn Sie ein Ergebnis anfordern, etwa mit show(), count() oder dem Schreiben einer Datei, übersetzt der Optimierer Catalyst die gesamte Kette in einen Ausführungsplan. Er kann dabei Filter vorziehen, nicht benötigte Spalten gar nicht erst lesen und Joins geschickt anordnen. Seit Spark 3 passt die Adaptive Query Execution den Plan zusätzlich während der Laufzeit an, wenn sich zeigt, dass Datenmengen anders verteilt sind als erwartet.
Die alte Programmierschnittstelle, die Resilient Distributed Datasets (RDDs), gibt es weiterhin. Für neuen Code empfiehlt das Projekt jedoch DataFrames und SQL, weil nur diese vom Optimierer profitieren.
DataFrames und Spark SQL: der Alltag mit Spark
Ein DataFrame ist eine Tabelle mit benannten Spalten und festen Datentypen, vergleichbar mit einer Datenbanktabelle oder einem pandas-DataFrame, nur verteilt über viele Rechner. Dieselben Daten können Sie mit Methodenaufrufen in Python, Scala, Java oder R bearbeiten oder direkt mit SQL abfragen. Beides landet beim selben Optimierer, die Wahl ist also eine Frage des Geschmacks und der Teamkenntnisse.
Die meisten Teams nutzen Spark über PySpark, die Python-Schnittstelle. Das folgende Beispiel greift die Aufgabe aus der ursprünglichen Fassung dieses Beitrags auf: Welche Städte zwischen den Wendekreisen haben die meisten Einwohner? Angenommen, eine CSV-Datei enthält Spalten für Stadt, Land, Breitengrad und Einwohnerzahl.
from pyspark.sql import SparkSession
from pyspark.sql import functions as F
# Lokale Session: nutzt alle Kerne des Rechners, kein Cluster nötig
spark = (
SparkSession.builder
.appName("staedte-tropen")
.master("local[*]")
.getOrCreate()
)
staedte = spark.read.csv("staedte.csv", header=True, inferSchema=True)
# Wendekreise liegen bei etwa 23,44 Grad nördlicher und südlicher Breite
tropen = (
staedte
.filter(F.col("breitengrad").between(-23.44, 23.44))
.select("stadt", "land", "einwohner")
.orderBy(F.col("einwohner").desc())
)
tropen.show(10)
# Dieselbe Abfrage in SQL
staedte.createOrReplaceTempView("staedte")
spark.sql("""
SELECT stadt, land, einwohner
FROM staedte
WHERE breitengrad BETWEEN -23.44 AND 23.44
ORDER BY einwohner DESC
LIMIT 10
""").show()
spark.stop()
Für eine kleine CSV-Datei ist Spark hier übertrieben, aber das Programm läuft unverändert auf einem Cluster, wenn statt einer Datei ein ganzes Verzeichnis mit Milliarden Zeilen eingelesen wird. Genau das ist der Reiz: Sie entwickeln lokal und skalieren später, ohne den Code umzuschreiben. In produktiven Pipelines sollten Sie das Schema allerdings explizit angeben, statt es mit inferSchema erraten zu lassen, und Daten eher als Parquet oder in einem Tabellenformat wie Delta Lake oder Apache Iceberg speichern statt als CSV.
Was Spark 4 verändert hat
Spark 4.0 erschien 2025 und war der erste große Versionssprung seit Spark 3.0 im Jahr 2020. Seither sind weitere 4.x-Versionen erschienen, im Oktober 2026 Spark 4.3. Für Teams, die bestehende Pipelines betreiben, sind vor allem diese Punkte relevant:
- Neue Mindestversionen: Spark 4 setzt Java 17 voraus und unterstützt Java 8 und 11 nicht mehr. Scala-Code muss auf Scala 2.13 laufen. PySpark verlangt ab Spark 4.0 mindestens Python 3.9, Python 3.8 fällt weg; neuere 4.x-Versionen setzen Python 3.10 bzw. 3.11 voraus.
- ANSI-SQL-Modus als Standard: Bisher gab Spark bei manchen Fehlern still
NULLzurück, etwa wenn sich ein Text nicht in eine Zahl umwandeln ließ. Im ANSI-Modus bricht die Abfrage stattdessen mit einem Fehler ab. Das ist sauberer, kann aber alte Jobs zum Scheitern bringen, die sich unbemerkt auf das alte Verhalten verlassen haben. - Spark Connect: Die mit Spark 3.4 eingeführte Client-Server-Architektur wurde in Spark 4 stark ausgebaut, unter anderem mit einem schlanken Python-Client. Dabei schickt eine schlanke Client-Bibliothek die Abfragen an einen entfernten Spark-Server. Damit lässt sich Spark aus Notebooks, IDEs oder anderen Sprachen ansprechen, ohne die komplette Spark-Installation lokal mitzuschleppen.
- Neue Datentypen und Schnittstellen: etwa der Typ
VARIANTfür halbstrukturierte JSON-Daten und eine Python-API, mit der sich eigene Datenquellen direkt in Python anbinden lassen.
Unsere Empfehlung: Wer noch auf Spark 3 läuft, sollte das Upgrade als eigenes Projekt planen, mit Testläufen gegen echte Daten. Die meisten Änderungen sind unspektakulär, der ANSI-Modus und der Java-Wechsel sorgen aber häufig für Überraschungen in älteren Jobs.
Structured Streaming: wie „Echtzeit“ bei Spark gemeint ist
Der ursprüngliche Titel dieses Beitrags versprach Verarbeitung in Echtzeit. Das bedarf einer Einordnung. Spark verarbeitet Datenströme mit Structured Streaming. Die Idee dahinter: Ein Datenstrom wird behandelt wie eine Tabelle, an die ständig neue Zeilen angehängt werden. Sie schreiben dieselben DataFrame-Abfragen wie für Batch-Daten, und Spark führt sie fortlaufend auf den neuen Daten aus.
Technisch geschieht das standardmäßig in Micro-Batches: Spark sammelt für einen kurzen Zeitraum eingehende Ereignisse und verarbeitet sie dann als kleinen Stapel. Die Latenz, also die Verzögerung zwischen Eintreffen eines Ereignisses und dem Ergebnis, liegt damit typischerweise im Bereich von etwa 100 Millisekunden bis zu einigen Sekunden. Für Dashboards, Betrugserkennung im Sekundenbereich oder das laufende Befüllen eines Data Lakes reicht das völlig. Seit Spark 4.1 gibt es zusätzlich den Real-time Mode, der etwa mit Kafka als Quelle Latenzen im Bereich weniger Millisekunden erreicht. Für harte Echtzeit, etwa die Steuerung einer Maschine, bleibt Spark trotzdem das falsche Werkzeug.
Ein typisches Szenario: Bestellereignisse laufen über Apache Kafka ein, Spark zählt sie pro Minute und Region und schreibt das Ergebnis fortlaufend weg.
from pyspark.sql import SparkSession
from pyspark.sql import functions as F
from pyspark.sql.types import StructType, StructField, StringType, TimestampType
spark = SparkSession.builder.appName("bestellungen-stream").getOrCreate()
schema = StructType([
StructField("bestell_id", StringType()),
StructField("region", StringType()),
StructField("zeitpunkt", TimestampType()),
])
# Benötigt das Kafka-Connector-Paket passend zur Spark-Version
roh = (
spark.readStream
.format("kafka")
.option("kafka.bootstrap.servers", "kafka:9092")
.option("subscribe", "bestellungen")
.load()
)
bestellungen = roh.select(
F.from_json(F.col("value").cast("string"), schema).alias("b")
).select("b.*")
pro_minute = (
bestellungen
.withWatermark("zeitpunkt", "5 minutes")
.groupBy(F.window("zeitpunkt", "1 minute"), "region")
.count()
)
abfrage = (
pro_minute.writeStream
.outputMode("update")
.format("console")
.option("checkpointLocation", "/tmp/checkpoints/bestellungen")
.start()
)
abfrage.awaitTermination()
Zwei Details sind wichtig. Das Watermark legt fest, wie lange Spark auf verspätete Ereignisse wartet, bevor ein Zeitfenster als abgeschlossen gilt. Der Checkpoint speichert den Verarbeitungsstand, damit der Job nach einem Absturz dort weitermacht, wo er aufgehört hat. Ohne Checkpoint ist ein Streaming-Job in der Produktion nicht verlässlich.
Spark und Kafka ergänzen sich, statt zu konkurrieren: Kafka transportiert und speichert Ereignisströme, Spark rechnet darauf. Wie Kafka selbst funktioniert, erklärt der Beitrag Apache Kafka erklärt: Event-Streaming für große Datenmengen. Wer sehr niedrige Latenzen und komplexe Zustände pro Ereignis braucht, schaut sich zusätzlich Apache Flink an, das Ströme Ereignis für Ereignis verarbeitet.
Machine Learning mit MLlib
Spark bringt mit MLlib eine eigene Bibliothek für maschinelles Lernen mit. Sie enthält gängige Verfahren für Klassifikation, Regression, Clustering und Empfehlungssysteme sowie Werkzeuge zur Datenaufbereitung, die sich zu Pipelines verketten lassen. Ihr Vorteil: Das Training läuft verteilt auf denselben Daten, die ohnehin im Cluster liegen.
Realistisch betrachtet ist MLlib heute vor allem für klassische Verfahren auf sehr großen Tabellen interessant, etwa eine logistische Regression über Hunderte Millionen Kundendatensätze. Für Deep Learning und Sprachmodelle greifen Teams zu PyTorch und ähnlichen Frameworks. Spark übernimmt in solchen Projekten oft die Vorarbeit: Rohdaten bereinigen, Merkmale berechnen und Trainingsdaten in einem Format bereitstellen, das die ML-Werkzeuge effizient lesen.
Spark betreiben: eigener Cluster oder Managed Service
Spark selbst ist Open Source und kostenlos. Aufwendig ist der Betrieb. Grob gibt es drei Wege:
| Betriebsform | Typische Optionen | Geeignet, wenn … |
|---|---|---|
| Lokal | pip install pyspark, ein Rechner | Sie entwickeln, testen oder mittelgroße Daten auswerten |
| Eigener Cluster | Spark auf Kubernetes, z. B. mit dem Spark Operator | Daten das eigene Rechenzentrum nicht verlassen sollen und ein Plattformteam vorhanden ist |
| Managed Service | Databricks, Amazon EMR, Google Managed Service for Apache Spark (früher Dataproc), Microsoft Fabric | Sie schnell starten wollen und nach Nutzung bezahlen möchten |
Managed Services nehmen Ihnen Installation, Updates und das automatische Hoch- und Herunterskalieren ab. Dafür zahlen Sie nach Rechenzeit, und gerade bei schlecht optimierten Jobs kann die Rechnung überraschend hoch ausfallen. Ein eigener Kubernetes-Betrieb lohnt sich meist nur, wenn ohnehin eine Kubernetes-Plattform und Fachleute dafür im Haus sind. Bei personenbezogenen Daten gehört die Frage, wo der Dienst rechnet und speichert, zudem in die Datenschutzprüfung.
Wann sich Spark lohnt und wann nicht
Spark ist ein schweres Werkzeug. Für Datenmengen, die auf einen gut ausgestatteten Rechner passen, sind schlankere Alternativen oft schneller und einfacher: DuckDB fragt Parquet-Dateien mit SQL direkt auf dem Laptop ab, Polars ist eine schnelle DataFrame-Bibliothek für Python. Beide kommen ohne Cluster, ohne Java und ohne verteilte Fehlersuche aus. Auch ein Cloud-Data-Warehouse wie BigQuery oder Snowflake erledigt viele Auswertungen per SQL, ohne dass Sie sich um Rechenknoten kümmern müssen.
Spark spielt seine Stärken aus, wenn mehrere Bedingungen zusammenkommen: Die Datenmengen gehen in die Terabytes oder wachsen schnell, Batch- und Streaming-Verarbeitung sollen mit demselben Code laufen, und die Transformationen sind zu komplex für reines SQL. Typische Beispiele sind die nächtliche Aufbereitung von Sensordaten aus der Produktion, die Zusammenführung von Klick-, Bestell- und Lagerdaten eines Webshops oder die Vorverarbeitung großer Trainingsdatensätze.
Was das für Ihr Team bedeutet
Spark ist ausgereift, gut dokumentiert und wird von allen großen Cloud-Anbietern unterstützt. Es ist damit eine sichere Wahl, wenn Sie wirklich große Datenmengen verarbeiten. Überschätzt wird dagegen, wie oft das der Fall ist. Viele Analyseaufgaben im Mittelstand bewegen sich im Bereich weniger Gigabyte, und dort kostet Spark mehr Komplexität, als es Nutzen bringt.
Für den Einstieg empfiehlt sich ein pragmatischer Weg: PySpark lokal installieren, mit DataFrames und Spark SQL an echten Daten üben und erst dann über einen Cluster oder Managed Service nachdenken, wenn die Daten es verlangen. Wer Python ohnehin für Datenanalyse nutzt, findet sich schnell zurecht. Was große Datenmengen für Unternehmen strategisch bedeuten, ordnet der Beitrag Big Data im Unternehmen: was der Begriff heute bedeutet ein.
Wenn Sie eine Datenplattform mit Spark planen, ein bestehendes Setup auf Spark 4 heben oder Ihr Team in PySpark schulen möchten, finden Sie Beratung und Seminare auf unserer Themenseite Big Data – Beratung, Coaching und Seminare. Grundlagen der Datenanalyse mit Python behandeln wir im Angebot Data Science mit Python.
Häufige Fragen zu Apache Spark
Lohnt sich Spark auch für kleine Datensätze?
Ja, Spark läuft im lokalen Modus auf jedem Rechner mit Java. Für kleine Datenmengen ist der Start einer Spark-Session aber spürbar langsamer als pandas, Polars oder DuckDB. Sinnvoll ist der lokale Betrieb vor allem zum Entwickeln von Jobs, die später auf einem Cluster laufen sollen.
Welche Programmierkenntnisse setzt Spark voraus?
Für den Einstieg genügen solide Kenntnisse in SQL oder Python. Wer Spark produktiv betreibt, sollte zusätzlich verstehen, wie Partitionen, Shuffles und Speicher zusammenspielen, denn die meisten Performanceprobleme entstehen dort.
Ist Spark ein Ersatz für eine Datenbank?
Nein. Spark speichert keine Daten dauerhaft, sondern liest und schreibt sie aus Dateien, Tabellenformaten oder Datenbanken. Für schnelle Einzelabfragen, etwa die Bestellung eines bestimmten Kunden, ist eine klassische Datenbank besser geeignet.
Wie weit lässt sich Spark skalieren?
Spark läuft produktiv auf Clustern mit Hunderten oder Tausenden Knoten. In der Praxis begrenzen eher die Kosten und schlecht verteilte Daten die Skalierung als die Software selbst.
Kategorien