Big Data im Unternehmen: was der Begriff heute bedeutet

Vom Hadoop-Cluster zu Lakehouse und Cloud-Data-Warehouse: wie Unternehmen große Datenmengen heute nutzbar machen
Aktualisiert:
Abstract
- #Big Data
- #Datenrevolution
- #Unternehmenserfolg
- #digitale Transformation
- #Data Lake
- #Data Warehouse
- #Data Governance
- #DSGVO
Nicht die Menge entscheidet, sondern Qualität, Zugriff und Zweck: eine nüchterne Einordnung von Big Data
Angenommen, ein mittelständischer Maschinenbauer möchte wissen, warum bestimmte Anlagen häufiger ausfallen als andere. Die Antwort steckt vermutlich irgendwo in den Daten: in Sensorwerten der Maschinen, in Wartungsprotokollen im ERP-System, in Servicetickets und in den Notizen der Techniker. Das Problem ist selten, dass es zu wenige Daten gäbe. Das Problem ist, dass sie verstreut, unterschiedlich aufgebaut und teilweise widersprüchlich sind.
Vor gut zehn Jahren hätte man diese Aufgabe unter dem Schlagwort Big Data verhandelt und über Rechencluster gesprochen. Heute geht es seltener um die schiere Datenmenge und häufiger um eine andere Frage: Wie bekommen Unternehmen ihre Daten so in Ordnung, dass Fachabteilungen, Analysewerkzeuge und KI-Anwendungen sie verlässlich nutzen können? Diese Einordnung zeigt, was von dem Begriff geblieben ist, welche Architekturen sich durchgesetzt haben und worauf es beim Einstieg ankommt.
Was Big Data eigentlich meint
Big Data bezeichnet Datenbestände, die zu groß, zu schnell oder zu vielfältig sind, um sie mit herkömmlichen Datenbanken und Werkzeugen auf einem einzelnen Server sinnvoll zu verarbeiten. Die verbreitetste Beschreibung stammt aus dem Jahr 2001 vom Analysten Doug Laney, damals bei der META Group: die drei V.
- Volume – die Datenmenge, etwa Milliarden Messwerte aus Sensoren oder Klickdaten eines Webshops.
- Velocity – die Geschwindigkeit, mit der Daten entstehen und verarbeitet werden müssen.
- Variety – die Vielfalt der Formate: Tabellen, Texte, Bilder, Logdateien, JSON-Ereignisse.
Später kamen weitere V hinzu, vor allem Veracity (Verlässlichkeit der Daten) und Value (Nutzen). In Marketingfolien finden sich inzwischen Listen mit sieben oder mehr V. Solche Erweiterungen sollten Sie mit Vorsicht lesen: Sie beschreiben eher Wünsche als Eigenschaften. Wert entsteht nicht durch Datenmenge, sondern dadurch, dass jemand eine konkrete Frage mit den Daten beantwortet.
Hilfreicher ist eine nüchterne Arbeitsdefinition: Ein Datenproblem wird zum Big-Data-Problem, wenn die bisherigen Werkzeuge an Grenzen stoßen, sei es bei Speicher, Rechenzeit oder der Zusammenführung unterschiedlicher Quellen. Für viele mittelständische Unternehmen liegt diese Grenze weiter oben, als der Hype vermuten ließ. Eine Tabelle mit einigen Millionen Zeilen ist heute für eine gewöhnliche Datenbank oder sogar einen Laptop kein Problem mehr.
Von Hadoop zur Cloud: wie sich die Technik verschoben hat
Die technische Geschichte von Big Data beginnt bei Google. Das Unternehmen beschrieb Anfang der 2000er-Jahre in zwei Fachaufsätzen, wie es Daten über viele günstige Rechner verteilt speichert (Google File System) und verarbeitet (MapReduce). Daraus entstand ab 2006 das Open-Source-Projekt Apache Hadoop, benannt nach dem Stoffelefanten des Sohnes von Mitentwickler Doug Cutting. Hadoop machte es erstmals für viele Unternehmen bezahlbar, Datenmengen im Terabyte- und Petabytebereich auf eigener Standardhardware zu verarbeiten.
In den 2010er-Jahren betrieben viele Konzerne eigene Hadoop-Cluster. Der Betrieb war allerdings aufwendig, und MapReduce war für viele Aufgaben zu langsam. Apache Spark löste MapReduce als Rechenmodell weitgehend ab, weil es Zwischenergebnisse im Arbeitsspeicher hält und Batch- wie Streaming-Verarbeitung mit demselben Programmiermodell abdeckt. Wie Spark technisch funktioniert und wann es sich lohnt, erklärt der Beitrag Apache Spark erklärt: große Datenmengen verteilt verarbeiten.
Die größte Verschiebung brachte dann die Cloud. Cloud-Data-Warehouses wie Snowflake, Google BigQuery, Amazon Redshift oder Microsoft Fabric trennen Speicher und Rechenleistung: Daten liegen günstig in einem Objektspeicher, Rechenkapazität lässt sich je nach Bedarf zuschalten oder skalieren und wird getrennt vom Speicher abgerechnet. Für viele Unternehmen bedeutet das, dass sie Auswertungen über sehr große Datenmengen per SQL starten können, ohne selbst einen Cluster zu betreiben. Das Wort Big Data taucht in diesen Produkten kaum noch auf, weil die Größe technisch zur Nebensache geworden ist.
Data Lake, Data Warehouse, Lakehouse: drei Architekturen im Vergleich
Wer heute eine Datenplattform plant, begegnet drei Begriffen, die oft durcheinandergehen.
Ein Data Warehouse ist eine zentrale, sorgfältig modellierte Datenbank für Auswertungen. Daten werden vor dem Laden bereinigt und in ein festes Schema gebracht. Das sorgt für verlässliche Kennzahlen, macht das Warehouse aber unflexibel für neue oder unstrukturierte Daten.
Ein Data Lake speichert dagegen Rohdaten in ihrem Ursprungsformat, meist als Dateien in einem Objektspeicher. Das ist billig und flexibel. Ohne Ordnung und Beschreibung wird aus dem See allerdings schnell ein Datensumpf, in dem niemand mehr weiß, welche Datei aktuell und welche Spalte vertrauenswürdig ist. Genau das ist vielen frühen Data-Lake-Projekten passiert.
Das Lakehouse versucht, beide Ansätze zu verbinden. Die Daten liegen weiterhin als offene Dateien im Objektspeicher, werden aber über ein Tabellenformat wie Delta Lake, Apache Iceberg oder Apache Hudi verwaltet. Diese Formate ergänzen die Dateien um Funktionen, die man bisher nur aus Datenbanken kannte: verlässliche Schreibvorgänge, Versionierung und Schemaänderungen. Zugriffsrechte regelt dagegen meist ein Datenkatalog, der die Tabellen verwaltet.
| Architektur | Stärke | Schwäche | Typischer Einsatz |
|---|---|---|---|
| Data Warehouse | verlässliche, abgestimmte Kennzahlen | wenig flexibel bei neuen Datenarten | Controlling, Berichtswesen |
| Data Lake | günstig, nimmt jedes Format auf | ohne Pflege schnell unübersichtlich | Rohdatenablage, Data Science |
| Lakehouse | offene Formate plus Datenbankfunktionen | höhere Anforderungen an Architektur und Know-how | gemeinsame Plattform für BI, Analyse und ML |
Unsere Einschätzung: Die Grenzen verschwimmen. Cloud-Data-Warehouses lesen inzwischen offene Tabellenformate, Lakehouse-Plattformen bieten Warehouse-Funktionen. Die wichtigere Entscheidung ist meist nicht das Etikett, sondern ob Ihre Daten in offenen Formaten liegen, die Sie später mit anderen Werkzeugen weiterverwenden können.
Datenqualität und Governance: wo die meisten Projekte scheitern
Technik ist selten der Grund, warum Datenprojekte enttäuschen. Häufiger liegt es an den Daten selbst. Angenommen, der Vertrieb zählt einen Kunden pro Vertrag, die Buchhaltung pro Rechnungsadresse und der Service pro Standort. Dann liefert jede Abteilung eine andere Kundenzahl, und jede hat aus ihrer Sicht recht. Solange niemand festlegt, was „Kunde“ im Unternehmen bedeutet, hilft auch die modernste Plattform nicht.
Hier setzt Data Governance an, also die Summe aus Regeln, Zuständigkeiten und Werkzeugen für den Umgang mit Daten. In der Praxis gehören dazu:
- Verantwortliche für Datenbestände: Für jede wichtige Datenquelle gibt es eine Person oder ein Team, das für Inhalt und Qualität geradesteht.
- Gemeinsame Begriffe: Ein Glossar legt fest, wie zentrale Kennzahlen berechnet werden.
- Datenkatalog: Ein Verzeichnis beschreibt, welche Daten es gibt, woher sie stammen und wer sie nutzen darf.
- Automatische Qualitätsprüfungen: Pipelines prüfen beim Laden, ob Pflichtfelder gefüllt, Werte plausibel und Dubletten ausgeschlossen sind.
Das klingt nach Bürokratie, spart aber Zeit. Ohne diese Grundlagen verbringen Analysten einen großen Teil ihrer Arbeit damit, Daten zu suchen, abzugleichen und zu bereinigen, statt sie auszuwerten.
DSGVO und Datenschutz: was bei großen Datenbeständen gilt
Sobald personenbezogene Daten im Spiel sind, etwa Kundendaten, Bewegungsdaten oder Daten von Beschäftigten, gilt die Datenschutz-Grundverordnung (DSGVO). Für Big-Data-Vorhaben sind vor allem die Grundsätze aus Art. 5 DSGVO heikel. Die Zweckbindung verlangt, dass Daten nur für festgelegte Zwecke erhoben und nicht beliebig weiterverwendet werden. Die Datenminimierung verlangt, nur so viele Daten zu verarbeiten wie nötig. Beides steht im Widerspruch zur alten Big-Data-Idee, erst einmal alles zu sammeln und später zu schauen, was sich daraus machen lässt.
Praktisch bedeutet das:
- Für jede Auswertung mit Personenbezug braucht es eine Rechtsgrundlage nach Art. 6 DSGVO und einen dokumentierten Zweck.
- Wo möglich, sollten Daten pseudonymisiert oder anonymisiert werden. Pseudonymisierte Daten bleiben personenbezogen, anonymisierte nur dann nicht, wenn eine Zuordnung zu Personen tatsächlich ausgeschlossen ist.
- Bei umfangreichen Auswertungen mit hohem Risiko, etwa systematischem Profiling, kann eine Datenschutz-Folgenabschätzung nach Art. 35 DSGVO erforderlich sein.
- Nutzen Sie Cloud-Dienste, regelt ein Auftragsverarbeitungsvertrag die Pflichten des Anbieters. Bei Anbietern außerhalb der EU sind zusätzlich die Regeln für Drittlandübermittlungen zu beachten.
Diese Punkte sind eine allgemeine Orientierung und ersetzen keine Rechtsberatung. Ziehen Sie Ihre Datenschutzbeauftragten früh hinzu, denn nachträgliche Korrekturen an einer Datenplattform sind teuer. Mehr dazu, wie sich datengetriebene Entscheidungen und Datenschutz verbinden lassen, lesen Sie in der Infothek unter Von Bauchgefühl zu datengetriebener Strategie mit DSGVO-Compliance.
Was KI an der Big-Data-Frage verändert
Mit generativer KI hat das Thema Daten neuen Schwung bekommen, allerdings unter anderen Vorzeichen. Ein Sprachmodell, das interne Dokumente durchsucht und Fragen dazu beantwortet, ist nur so gut wie die Dokumente, auf die es zugreift. Veraltete Handbücher, doppelte Versionen und fehlende Zugriffsrechte führen zu falschen oder unzulässigen Antworten.
Damit verschiebt sich der Fokus. Wichtig sind nicht mehr nur strukturierte Tabellen, sondern auch Texte, E-Mails, Verträge und Tickets, also genau die unstrukturierten Daten, die frühere Big-Data-Projekte oft ausklammerten. Gleichzeitig senken KI-Werkzeuge die Einstiegshürde: Fachanwender können Fragen in natürlicher Sprache stellen, und die Systeme übersetzen sie in Datenbankabfragen. Das funktioniert aber nur zuverlässig, wenn die Datenbasis sauber beschrieben ist. Wer heute in Datenqualität und Governance investiert, schafft damit auch die Grundlage für brauchbare KI-Anwendungen.
Für KI-Systeme in sensiblen Einsatzbereichen kommen mit der europäischen KI-Verordnung (AI Act) zusätzliche Anforderungen an die Qualität und Dokumentation von Trainingsdaten hinzu. Auch hier gilt: Ordnung in den Daten zahlt sich doppelt aus.
Wie Unternehmen sinnvoll einsteigen
Der häufigste Fehler ist, mit der Plattform zu beginnen statt mit der Frage. Ein pragmatischer Einstieg sieht anders aus:
- Eine konkrete Fragestellung wählen, deren Antwort Geld spart oder Umsatz bringt, etwa „Welche Ersatzteile sollten wir vorrätig halten?“ oder „Warum brechen Kunden den Bestellvorgang ab?“.
- Die nötigen Datenquellen identifizieren und prüfen, in welchem Zustand sie sind. Oft zeigt schon diese Bestandsaufnahme, wo die eigentlichen Probleme liegen.
- Klein und mit vorhandenen Mitteln starten. Für viele erste Auswertungen reichen eine Datenbank, ein BI-Werkzeug und einige Python-Skripte. Wie Kennzahlen und Dashboards Entscheidungen unterstützen, beschreibt der Beitrag Business Intelligence in der Praxis: Von Rohdaten zu Entscheidungen.
- Zuständigkeiten und Datenschutz von Beginn an klären, nicht erst, wenn das Projekt wächst.
- Erst skalieren, wenn der Nutzen belegt ist. Eine Cloud-Datenplattform oder ein Lakehouse lohnt sich, wenn mehrere Abteilungen auf gemeinsame Daten zugreifen sollen und die vorhandenen Werkzeuge nicht mehr reichen.
Ebenso wichtig wie die Technik sind die Menschen. Ein Datenprojekt verändert Abläufe und Verantwortlichkeiten, und Fachabteilungen müssen den Ergebnissen vertrauen, bevor sie sie nutzen.
Was von Big Data bleibt
Die großen Versprechen der 2010er-Jahre, mit Daten ließe sich die Zukunft vorhersagen und jede Entscheidung automatisieren, haben sich so nicht erfüllt. Manch teurer Hadoop-Cluster wurde wieder abgeschaltet, manche Data Lakes wurden nie richtig genutzt. Überschätzt wurde die Rolle der Datenmenge, unterschätzt der Aufwand für Qualität, Zuständigkeiten und Fachwissen.
Geblieben ist eine wichtige Erkenntnis: Daten sind für die meisten Unternehmen ein Arbeitsmittel, dessen Wert von Pflege und Nutzung abhängt, nicht vom Umfang. Die Technik ist dank Cloud und offener Formate zugänglicher geworden als je zuvor. Für die meisten Teams lohnt es sich deshalb weniger, über Big Data als Schlagwort nachzudenken, als über eine saubere, gut beschriebene Datenbasis für konkrete Fragen. Das zahlt sich bei klassischen Auswertungen ebenso aus wie bei KI-Anwendungen.
Wenn Sie eine Datenstrategie entwickeln, eine Datenplattform auswählen oder Ihr Team in Analyse und Governance schulen möchten, finden Sie unsere Beratungs- und Seminarangebote auf der Themenseite Big Data & Analytics.
Häufige Fragen zu Big Data
Ist Big Data nur etwas für große Unternehmen?
Nein, aber die Bezeichnung führt in die Irre. Kleine und mittlere Unternehmen haben selten Datenmengen, die verteilte Systeme erfordern. Sie profitieren dennoch von denselben Grundsätzen: Datenquellen zusammenführen, Qualität sichern und Auswertungen an konkreten Fragen ausrichten. Cloud-Dienste machen die nötige Technik auch in kleinem Maßstab bezahlbar.
Brauchen wir einen Data Lake?
Nur, wenn Sie große Mengen unterschiedlich strukturierter Daten für Analysen oder Machine Learning bereithalten wollen. Für klassische Berichte und Kennzahlen reicht oft ein Data Warehouse oder eine gut gepflegte Datenbank. Entscheidend ist, dass die Daten beschrieben und gepflegt werden, egal wo sie liegen.
Welche Fähigkeiten braucht ein Team für Datenprojekte?
Neben Datenanalyse und Datenengineering vor allem Fachwissen aus den Abteilungen, die die Fragen stellen. Gute Ergebnisse entstehen, wenn Fachleute und Datenteams gemeinsam an einer Fragestellung arbeiten. Grundkenntnisse in SQL und im Umgang mit BI-Werkzeugen helfen auch Fachanwendern.
Wie verhält sich Big Data zum Datenschutz?
Die DSGVO verbietet große Datenbestände nicht, verlangt aber einen festgelegten Zweck, eine Rechtsgrundlage und so wenig personenbezogene Daten wie nötig. Pseudonymisierung, Zugriffsrechte und eine saubere Dokumentation gehören deshalb zu jeder Datenplattform mit Personenbezug.
Kategorien
Schlagworte