Langzeitgedächtnis für Sprachmodelle: Wie sich KI-Systeme erinnern

Vom Kontextfenster bis zur Gedächtnisfunktion in ChatGPT und Claude: Architekturen, Werkzeuge und Datenschutz
Aktualisiert:
Abstract
- #KI-Gedächtnis
- #Langzeitgedächtnis
- #Sprachmodelle
- #Kontextfenster
- #Knowledge Graphs
- #Vektordatenbanken
- #KI-Entwicklung
- #KI-Architektur
- #Datenmanagement
- #KI-Agenten
Warum ein Sprachmodell nach jedem Gespräch vergisst und was ein verlässliches Gedächtnis ausmacht
Montagmorgen, ein Assistent im Kundenservice: Eine Kundin schreibt, dass ihre Lieferadresse sich geändert hat. Am Mittwoch fragt sie nach dem Status ihrer Bestellung, und der KI-Assistent schlägt die alte Adresse vor. Er hat nichts falsch berechnet. Er wusste schlicht nichts mehr vom Montag.
Sprachmodelle sind von Haus aus vergesslich. Was ein Chatbot scheinbar „weiß“, muss ihm bei jeder Anfrage erneut vorgelegt werden. Seit 2024 bauen die großen Anbieter deshalb Gedächtnisfunktionen in ihre Assistenten ein, und für eigene Anwendungen ist eine ganze Werkzeugklasse entstanden. Wie diese Systeme funktionieren, wo sie an Grenzen stoßen und was Unternehmen beim Datenschutz beachten sollten, zeigt der folgende Überblick.
Warum ein Sprachmodell von sich aus nichts behält
Ein großes Sprachmodell (Large Language Model, LLM) besteht im Kern aus Milliarden von Parametern, also Zahlenwerten, die beim Training festgelegt wurden. In ihnen steckt allgemeines Wissen über Sprache und die Welt bis zu einem Stichtag. Im laufenden Betrieb ändern sich diese Parameter nicht. Was Sie dem Modell heute erzählen, landet also nicht in seinem „Kopf“.
Technisch ist jeder Aufruf eines Sprachmodells in sich abgeschlossen. Die Anwendung schickt einen Text, das Modell erzeugt eine Antwort, danach ist der Vorgang beendet. Dass ein Chat trotzdem zusammenhängend wirkt, liegt an der Anwendung drumherum: Sie hängt bei jeder neuen Frage den bisherigen Gesprächsverlauf wieder an. Fachleute nennen das zustandslos, auf Englisch stateless.
Daraus ergeben sich zwei sehr unterschiedliche Aufgaben:
- Kurzzeitgedächtnis: Innerhalb eines Gesprächs den Verlauf mitführen. Das ist vergleichsweise einfach und seit den ersten Chatbots üblich.
- Langzeitgedächtnis: Über Tage, Wochen oder Monate hinweg relevante Informationen behalten, aktualisieren und im richtigen Moment wieder hervorholen. Das ist die eigentliche Herausforderung.
Das Kontextfenster: großes Arbeitsgedächtnis, kein Langzeitgedächtnis
Das Kontextfenster ist die Textmenge, die ein Modell bei einem Aufruf gleichzeitig verarbeiten kann. Gemessen wird sie in Token, also Wortteilen; wie viele Token ein Wort braucht, hängt von Sprache und Modell ab, deutsche Wörter zerfallen oft in mehrere. In den vergangenen Jahren sind diese Fenster stark gewachsen. Mehrere Anbieter bieten inzwischen Modelle mit einer Million Token und mehr an, das entspricht mehreren dicken Büchern.
Naheliegend ist daher die Idee, einfach alles in den Kontext zu packen: sämtliche früheren Gespräche, alle Notizen, alle Dokumente. In der Praxis hat das drei Schwächen.
Kosten und Wartezeit. Abgerechnet wird bei den meisten Anbietern pro verarbeitetem Token. Wer bei jeder Frage einen kompletten Verlauf mitschickt, bezahlt diesen Verlauf jedes Mal neu, und die Antwortzeit steigt. Zwischenspeicher für wiederkehrende Textanfänge (Prompt-Caching) mildern das, lösen es aber nicht.
Aufmerksamkeit. Modelle nutzen lange Kontexte ungleichmäßig. Eine viel zitierte Studie aus dem Jahr 2023 mit dem Titel „Lost in the Middle“ zeigte, dass Informationen in der Mitte eines langen Textes schlechter gefunden werden als am Anfang oder Ende. Neuere Modelle sind darin besser geworden, das Grundproblem bleibt: Je mehr Rauschen im Kontext steht, desto eher greift das Modell zur falschen Stelle oder vermischt Fakten.
Keine Ordnung. Ein Gesprächsverlauf ist eine chronologische Liste ohne Struktur. Hat die Kundin aus dem Beispiel ihre Adresse geändert, stehen alte und neue Adresse im Verlauf. Welche gilt, muss das Modell aus dem Zusammenhang erraten.
Das Kontextfenster ist damit eher ein Schreibtisch als ein Archiv: Darauf liegt, was gerade gebraucht wird. Ein Langzeitgedächtnis entscheidet, was auf diesen Schreibtisch kommt. Diese Auswahl ist Teil dessen, was inzwischen unter dem Begriff Kontext-Engineering für KI-Agenten diskutiert wird.
Zwei Arten von Erinnerung: Faktenprofil und Gesprächsarchiv
Gedächtnissysteme für Sprachmodelle trennen meist zwei Formen von Erinnerung, die sich mit zwei Notizbüchern vergleichen lassen.
Das Faktenprofil
Das erste Notizbuch enthält kurze, verdichtete Aussagen: „arbeitet im Einkauf“, „bevorzugt kurze Antworten“, „Projekt X läuft bis März“. Ein Modell oder ein eigener Klassifikator entscheidet beim Gespräch, ob eine Aussage wichtig genug ist, um sie aufzuheben. Gibt es zu einem Punkt schon einen Eintrag, wird dieser aktualisiert statt verdoppelt. Viele Systeme sortieren solche Fakten in Kategorien wie Profil, Vorlieben oder laufende Vorhaben.
Der Vorteil: Das Profil ist klein und kann bei jeder Anfrage vollständig mitgeschickt werden. Einige Dutzend Zeilen kosten weniger und lenken weniger ab als ein Verlauf von Tausenden Token.
Das Gesprächsarchiv
Das zweite Notizbuch hebt frühere Gespräche selbst auf, im Volltext oder als Zusammenfassung. Es beantwortet Fragen wie „Was hatten wir letzten Monat zur Ausschreibung besprochen?“. Weil dieses Archiv schnell wächst, wird es nicht komplett in den Kontext geladen. Stattdessen sucht das System bei Bedarf die passenden Abschnitte heraus.
Hier liegt die eigentliche Designfrage: Wie viel Detail soll erhalten bleiben? Zu wenig, und wichtige Zusammenhänge gehen beim Zusammenfassen verloren. Zu viel, und das Archiv wird unübersichtlich und teuer.
Wie ChatGPT, Claude und andere Assistenten sich erinnern
Die großen Chat-Assistenten setzen diese beiden Formen inzwischen sichtbar um. Die Details ändern sich häufig, die Grundmuster ähneln sich aber.
ChatGPT: OpenAI testete eine Gedächtnisfunktion ab Anfang 2024 und weitete sie danach aus. Sie besteht aus gespeicherten Erinnerungen, die Nutzer in den Einstellungen einsehen und löschen können, und seit 2025 zusätzlich aus der Möglichkeit, frühere Chats als Bezug heranzuziehen. Für Gespräche, aus denen keine Erinnerungen entstehen sollen, gibt es einen temporären Chat.
Claude: Anthropic führte 2025 zunächst die Suche in früheren Chats ein und danach eine Gedächtnisfunktion, die zuerst für Team- und Enterprise-Konten, dann für die übrigen bezahlten Tarife und seit März 2026 auch für kostenlose Konten freigeschaltet wurde. Laut Hersteller wird das Gedächtnis getrennt nach Projekten geführt, damit sich etwa Kundenarbeit und interne Themen nicht vermischen. Für Entwickler bietet Anthropic in seiner Programmierschnittstelle ein Werkzeug an, mit dem ein Modell selbst Notizen in einem Speicher ablegen und wieder lesen kann.
Weitere Anbieter: Auch Google bei Gemini und Microsoft bei Copilot haben Funktionen eingeführt, die persönliche Angaben oder frühere Unterhaltungen berücksichtigen.
Gemeinsam ist diesen Funktionen, dass das Gedächtnis außerhalb des Modells liegt: in einer Datenbank des Anbieters, aus der vor einer Antwort ausgewählte Einträge in den Kontext eingefügt werden. Das Modell selbst lernt nichts dazu. Für Unternehmen ist das eine wichtige Unterscheidung, denn gespeichert wird beim Anbieter, und es gelten dessen Einstellungen, Tarifbedingungen und Aufbewahrungsregeln.
Vektorspeicher oder Wissensgraph: zwei Architekturen
Wer eine eigene Anwendung mit Gedächtnis baut, steht früh vor der Wahl der Speicherform. Zwei Ansätze haben sich durchgesetzt, und viele Systeme kombinieren sie.
Der Vektorspeicher
Beim vektorbasierten Ansatz werden Texte in Embeddings umgewandelt, also Zahlenreihen, die die Bedeutung eines Textes abbilden. Ähnliche Inhalte liegen in diesem Zahlenraum nah beieinander. Eine Vektordatenbank findet zu einer Frage die inhaltlich passendsten Einträge, auch wenn andere Wörter verwendet werden. Oft wird das mit klassischer Stichwortsuche zu einer hybriden Suche kombiniert.
Der Einstieg ist einfach, und die Technik ist ausgereift. Die Schwächen zeigen sich mit der Zeit:
- Widersprüche: Ändert sich ein Fakt, stehen alter und neuer Eintrag nebeneinander. Die Suche findet womöglich beide.
- Fehlender Zeitbezug: Ohne zusätzliche Metadaten weiß das System nicht, wann etwas gesagt wurde oder ob es sich auf Vergangenheit oder Zukunft bezieht. „Ich ziehe im Sommer nach Leipzig“ ist im Herbst eine andere Aussage als im Frühjahr.
- Wachstum: Das Archiv wird größer, die Treffer unschärfer. Irgendwann muss verdichtet oder gelöscht werden, wobei Details verloren gehen können.
Gegenmittel gibt es: Zeitstempel als Metadaten, regelmäßiges Zusammenfassen und ein Schritt, der vor dem Speichern prüft, ob ein neuer Fakt einen alten ersetzt.
Der Wissensgraph
Ein Wissensgraph (Knowledge Graph) speichert Informationen als Netz aus Objekten und Beziehungen: „Kundin A – wohnt in – Köln“, „Kundin A – bestellte – Artikel B“. Das ähnelt einem Liniennetzplan, auf dem man von Station zu Station fahren kann.
Zwei Eigenschaften machen Graphen für ein Gedächtnis attraktiv. Erstens lassen sich Beziehungen mit Gültigkeitszeiträumen versehen. Statt die alte Adresse zu überschreiben, erhält sie ein Enddatum, und die neue gilt ab dem Tag der Änderung. So bleibt die Historie nachvollziehbar. Zweitens kann das System Verbindungen über mehrere Schritte verfolgen, etwa von einer Person über ihre Projekte zu den beteiligten Lieferanten. Fachleute sprechen von Multi-Hop-Abfragen.
Der Preis ist mehr Aufwand: Beim Speichern muss ein Sprachmodell Objekte und Beziehungen aus dem Text herauslösen, was Rechenzeit kostet und Fehler einschleppen kann. Große Graphen brauchen eine eigene Datenbank und Pflege, und tiefe Abfragen können die Antwortzeit spürbar erhöhen. Wie Graphen bei der Suche in Unternehmensdokumenten eingesetzt werden, beschreibt der Beitrag zu GraphRAG und vernetztem Unternehmenswissen.
Gedächtnis ist nicht dasselbe wie RAG
Beide Begriffe werden oft vermischt, weil sie ähnliche Technik nutzen. Retrieval-Augmented Generation (RAG) bedeutet, dass ein System vor der Antwort passende Stellen aus einem Dokumentbestand sucht, etwa aus Handbüchern, Verträgen oder dem Intranet. Dieser Bestand wird von Menschen gepflegt und ist für alle Nutzer gleich.
Ein Gedächtnis dagegen entsteht aus den Gesprächen selbst. Es ist persönlich oder auf ein Team bezogen, verändert sich laufend und muss mit Widersprüchen umgehen. Ein Handbuch ändert sich selten. Die Vorlieben eines Nutzers oder der Stand eines Projekts dagegen ändern sich ständig.
In der Praxis laufen beide oft nebeneinander: Das Gedächtnis liefert den persönlichen Zusammenhang, RAG das Fachwissen. Wie Forschende das Suchen in RAG-Systemen mit Reinforcement Learning verbessert haben, ist im Rückblick auf RAG und Reinforcement Learning nachzulesen.
Werkzeuge für eigene Anwendungen
Für Entwicklerteams ist in kurzer Zeit eine Reihe spezialisierter Frameworks entstanden. Die meisten sind erst wenige Jahre alt und entwickeln sich schnell weiter. Die folgende Übersicht beschreibt Grundprinzipien, keine vollständigen Funktionslisten.
- Zep und Graphiti: Zep setzt auf einen zeitbewussten Wissensgraphen. Die zugehörige Open-Source-Bibliothek Graphiti extrahiert mithilfe eines Sprachmodells Objekte und Beziehungen und markiert überholte Fakten als ungültig, statt sie zu löschen. Abgefragt wird über eine Kombination aus semantischer Suche, Stichwortsuche und dem Weg durch den Graphen.
- Mem0: Mem0 extrahiert Fakten aus Gesprächen und legt sie als Einträge ab. Seit dem neuen Speicher-Algorithmus (v3) werden dabei nur noch Einträge hinzugefügt: Ein geänderter Fakt steht neben dem alten, und die Suche soll den aktuellen zuerst liefern. Der Schwerpunkt liegt auf einem Vektorspeicher, ergänzt um Stichwortsuche und erkannte Objekte; eine Graph-Funktion bietet der Hersteller in seiner Cloud-Plattform an.
- Letta: Letta ging aus dem Forschungsprojekt MemGPT hervor. Kern ist die Idee, dass der Agent seinen eigenen Speicher verwaltet. Ein sogenannter Core Memory besteht aus Blöcken, die dauerhaft im Kontext stehen, etwa „Angaben zur Person“ oder „aktuelle Aufgabe“. Was dort keinen Platz hat, lagert der Agent in ein durchsuchbares Archiv aus.
- Bausteine der Agenten-Frameworks: Auch verbreitete Frameworks für KI-Agenten bringen inzwischen eigene Speicherbausteine mit, und Modellanbieter stellen in ihren Schnittstellen Werkzeuge bereit, mit denen ein Modell Notizen schreiben und lesen kann.
Allen gemeinsam ist, dass Sie festlegen, was gespeichert werden soll. Angenommen, Sie entwickeln einen internen Assistenten für den Vertrieb: Sinnvolle Kategorien wären dann Ansprechpartner, offene Angebote und vereinbarte Folgetermine, nicht aber private Plaudereien aus dem Chat. Diese Festlegung ist keine technische Nebensache, sondern bestimmt Qualität und Datenschutz des ganzen Systems.
Datenschutz und Kontrolle
Ein Gedächtnis speichert per Definition personenbezogene Daten, sobald es sich an Menschen erinnert. Damit greift in der EU die Datenschutz-Grundverordnung (DSGVO). Einige Grundsätze sind für Gedächtnissysteme besonders relevant; im Einzelfall ersetzt das keine rechtliche Prüfung.
- Datenminimierung und Zweckbindung (Art. 5 DSGVO): Gespeichert werden sollte nur, was für den Zweck der Anwendung nötig ist. Ein Gedächtnis, das „alles“ aufhebt, widerspricht diesem Grundsatz.
- Auskunft und Löschung (Art. 15 und 17 DSGVO): Betroffene haben das Recht zu erfahren, was über sie gespeichert ist, und können unter bestimmten Voraussetzungen die Löschung verlangen. Das Gedächtnis muss daher einsehbar und gezielt löschbar sein, auch in Zusammenfassungen und Graphen, in die ein Fakt eingeflossen ist.
- Besondere Kategorien (Art. 9 DSGVO): Gesundheitsangaben, religiöse Überzeugungen oder Gewerkschaftszugehörigkeit unterliegen strengeren Regeln. Ein Assistent, der nebenbei „Mitarbeiterin ist gerade krank“ abspeichert, schafft ein Problem, das niemand bestellt hat.
Hinzu kommen praktische Fragen. Wer darf welche Erinnerungen sehen, wenn mehrere Personen einen Assistenten nutzen? Wo liegen die Daten, beim Cloud-Anbieter oder im eigenen Rechenzentrum? Viele der genannten Frameworks lassen sich selbst betreiben, dann hängt die Sicherheit von der eigenen Infrastruktur ab. Bei Cloud-Diensten lohnt der Blick auf Zertifizierungen wie SOC 2 und auf den Vertrag zur Auftragsverarbeitung. Welche technischen Maßnahmen beim Betrieb eigener Modelle helfen, behandelt die Infothek zu DSGVO, Verschlüsselung und Audit-Logging mit lokalen LLMs.
Für Mitarbeitende, die ChatGPT, Claude oder andere Assistenten beruflich nutzen, gilt zusätzlich: Die Gedächtnisfunktion sollte bewusst ein- oder ausgeschaltet werden, idealerweise auf Grundlage einer internen Richtlinie. Bei Firmenkonten legen oft Administratoren fest, ob die Funktion überhaupt verfügbar ist.
Kosten und Qualität realistisch einschätzen
Gedächtnis kostet an zwei Stellen Geld. Beim Speichern analysiert meist ein Sprachmodell jede Nachricht, um Fakten herauszulösen; das ist ein zusätzlicher Modellaufruf. Beim Abrufen kommen Suche und gegebenenfalls Graphabfragen hinzu. Cloud-Dienste für Gedächtnis rechnen häufig nach übermittelten Nachrichten oder nach Speicher- und Suchanfragen ab. Bei einigen Hundert Gesprächen am Tag summiert sich das.
Ein pragmatischer Weg für viele Teams: Mit einem gehosteten Dienst prüfen, ob das Gedächtnis den Nutzern überhaupt hilft. Erst wenn das klar ist, über Self-Hosting oder eine eigene Lösung nachdenken. Eine verbreitete Mischform nutzt einen schlanken eigenen Klassifikator, der nur ausgewählte Aussagen als Fakten ablegt, während der Rest in einem Archiv landet, das regelmäßig verdichtet wird.
Dem steht eine Ersparnis gegenüber: Ein kompaktes Faktenprofil im Kontext ist billiger als ein Gesprächsverlauf, der bei jeder Anfrage vollständig mitgeschickt wird.
Bei der Qualität helfen nüchterne Erwartungen. Auch mit Gedächtnis erfinden Sprachmodelle gelegentlich Dinge oder übersehen vorhandene Informationen. Ein Gedächtnis kann zudem falsche Fakten festschreiben, wenn eine Aussage falsch verstanden wurde, und diese dann überzeugend wiederholen. Deshalb gehören zu einem produktiven System Testfälle mit typischen Grenzfällen: geänderte Fakten, Aussagen über die Zukunft, widersprüchliche Angaben verschiedener Personen.
Was das für Ihr Team bedeutet
Langzeitgedächtnis ist keine Modellfrage, sondern eine Architekturfrage. Das Sprachmodell bleibt vergesslich; verlässlich wird ein System erst durch die Schicht darum herum, die entscheidet, was gespeichert, aktualisiert, vergessen und wieder abgerufen wird.
Unsere Einschätzung: Für die meisten Anwendungen in Unternehmen reicht zunächst ein kleines, gut gepflegtes Faktenprofil mit klaren Kategorien. Es ist billig, gut zu kontrollieren und datenschutzrechtlich überschaubar. Ein Wissensgraph lohnt sich, wenn zeitliche Abläufe und Beziehungen wirklich zählen, etwa bei Kundenhistorien, Projekten oder Vertragsständen. Überschätzt wird dagegen die Idee, ein riesiges Kontextfenster mache Gedächtnis überflüssig. Es verschiebt das Problem nur, verursacht laufend Kosten und lässt die Frage offen, welcher Fakt gerade gilt.
Wichtiger als die Wahl des Frameworks ist die Vorarbeit: festlegen, welche Informationen der Assistent behalten darf, wer sie sehen und löschen kann und wie man prüft, ob die Erinnerungen stimmen. Wer solche Fragen für den eigenen Betrieb klären oder ein Team schulen möchte, findet dazu Angebote auf unserer Seite zum Einsatz künstlicher Intelligenz im Unternehmen.
Häufige Fragen zum Gedächtnis von Sprachmodellen
Lernt ein Sprachmodell durch die Gedächtnisfunktion dazu?
Nein. Die Gedächtnisfunktionen von Chat-Assistenten speichern Informationen in einer separaten Datenbank und fügen ausgewählte Einträge vor der Antwort in den Kontext ein. Die Parameter des Modells ändern sich dabei nicht. Ob Anbieter Gesprächsdaten zusätzlich für das Training künftiger Modelle verwenden, ist eine eigene Frage, die in den jeweiligen Datenschutzeinstellungen geregelt wird.
Reicht ein großes Kontextfenster nicht aus?
Für einzelne Aufgaben, etwa die Analyse eines langen Vertrags, oft schon. Als Dauerlösung für ein Gedächtnis eignet es sich schlecht: Jeder Aufruf bezahlt den vollständigen Verlauf, die Antwortzeit steigt, und das Modell muss selbst herausfinden, welche von mehreren widersprüchlichen Angaben aktuell ist.
Vektordatenbank oder Wissensgraph – womit sollte man anfangen?
Mit dem Einfachsten, das den Anwendungsfall abdeckt. Geht es um Vorlieben und wenige Stammdaten, genügen ein Faktenprofil und ein Vektorspeicher. Spielen zeitliche Abläufe und Beziehungen zwischen vielen Objekten eine Rolle, ist ein Graph die stärkere Wahl. Viele Systeme kombinieren beides.
Darf man die Gedächtnisfunktion von ChatGPT oder Claude im Unternehmen nutzen?
Das hängt vom Tarif, den Vertragsbedingungen des Anbieters und den internen Regeln ab. Sinnvoll ist eine Richtlinie, die festlegt, welche Daten in Assistenten eingegeben werden dürfen und ob das Gedächtnis aktiviert sein soll. Bei personenbezogenen Daten von Kunden oder Beschäftigten sollte der Datenschutzbeauftragte eingebunden werden.