Jev: Was ein KI-Modell für schnelles Denken anders macht als ChatGPT

System-1-KI für Software: kalibrierte Wahrscheinlichkeiten statt Fließtext, und was das für Support, Routing und Prüfprozesse bedeutet
Aktualisiert:
Abstract
- #Jev
- #System-1-KI
- #künstliche Intelligenz
- #KI-Modelle
- #Softwareentwicklung
- #Kalibrierung
- #Klassifikation
- #Sprachmodelle
Ein Modell, das nicht schreibt, sondern einschätzt: Wie Jev entscheidet und wo diese Art von KI an ihre Grenzen stößt
Ein Kunde schreibt an den Support: „Mir wurde diesen Monat zweimal Geld abgebucht. Bitte korrigieren Sie das.“ Ein Mensch weiß nach einer Sekunde, worum es geht, wer zuständig ist und dass die Sache eilt. Eine Software, die solche Nachrichten sortiert, schickt den Text heute oft an ein großes Sprachmodell und lässt sich die Antwort als JSON zurückschreiben. Das funktioniert, ist aber langsam, kostet für jede Nachricht Rechenzeit und verrät nicht, wie sicher sich das Modell ist.
Das Modell Jev des Start-ups TypeSafe setzt genau an dieser Stelle an. Es schreibt kein einziges Wort. Stattdessen wählt es aus vorgegebenen Antworten aus und nennt zu jeder eine Wahrscheinlichkeit, die laut Hersteller kalibriert ist, also der tatsächlichen Trefferquote entspricht. Die Idee dahinter stammt aus der Psychologie und ist für viele Unternehmensanwendungen interessanter als der nächste Chatbot.
Schnelles und langsames Denken nach Kahneman
Der Psychologe Daniel Kahneman unterscheidet in seinem Buch „Schnelles Denken, langsames Denken“ zwei Arten, wie Menschen zu Urteilen kommen.
System 1 arbeitet schnell, automatisch und ohne spürbare Anstrengung. Was zwei mal zwei ergibt, wissen Sie, ohne zu rechnen. Ein wütender Gesichtsausdruck wird erkannt, bevor Sie darüber nachdenken. Wer Auto fährt, bremst bei Rot, ohne die Verkehrsregeln aufzusagen.
System 2 ist langsam, bewusst und gründlich. Bei 17 mal 24 halten die meisten Menschen inne, zerlegen die Aufgabe in Teilschritte und kommen nach einer Weile auf 408. Eine Steuererklärung, ein Vertragsentwurf oder die Fehlersuche in einem Programm verlangen diese Art des Denkens.
Kahnemans zentrale Beobachtung: Der weitaus größte Teil unseres Alltags läuft über System 1. Das langsame Denken schaltet sich nur dann ein, wenn das schnelle nicht weiterkommt. Diese Arbeitsteilung spart Energie und ist der Grund, warum Menschen in einer komplexen Umgebung überhaupt handlungsfähig bleiben.
Warum Sprachmodelle für kleine Entscheidungen oft unpassend sind
Die bekannten KI-Modelle, von ChatGPT bis Claude, sind Textgeneratoren. Sie erzeugen ihre Antwort Stück für Stück, ein Token nach dem anderen. Ein Token ist ein Wortbaustein, oft eine Silbe oder ein kurzes Wort. Sogenannte Reasoning-Modelle schreiben vor der eigentlichen Antwort zusätzlich einen Gedankengang auf. Sie kommen damit dem langsamen System 2 am nächsten und sind entsprechend stark bei Mathematik, Programmierung und mehrstufigen Aufgaben.
In einer typischen Unternehmenssoftware fallen aber unzählige kleine Entscheidungen an, die kein gründliches Nachdenken brauchen. Ist diese E-Mail eine Beschwerde? Gehört dieses Dokument in die Buchhaltung? Enthält dieser Kommentar eine Beleidigung? Ist dieser Logeintrag auffällig? Für solche Fragen ein großes Sprachmodell einzusetzen, ist ein wenig, als würde man einen Gutachter beauftragen, um die Post zu sortieren.
Das Problem mit der Selbsteinschätzung
Hinzu kommt ein grundsätzliches Problem. Wenn ein Sprachmodell eine Kategorie als JSON zurückgibt, fehlt die Information, wie sicher es sich dabei ist. Sie können das Modell zwar bitten, eine Zahl zwischen 0 und 1 mitzuliefern. Diese Zahl ist aber selbst nur erzeugter Text und spiegelt nicht zuverlässig wider, wie wahrscheinlich die Antwort tatsächlich richtig ist. Sprachmodelle neigen dazu, sich zu überschätzen, ähnlich einem sehr selbstbewussten Kollegen, der auf die Frage „Sind Sie sicher?“ fast immer mit Ja antwortet.
Manche Schnittstellen geben zusätzlich die internen Wahrscheinlichkeiten einzelner Tokens aus. Auch diese sind nach dem Nachtraining der Modelle oft verzerrt und lassen sich bei Antworten aus mehreren Wörtern nur mühsam auswerten.
So arbeitet Jev: Fragen hinein, Wahrscheinlichkeiten heraus
Jev erhält zwei Arten von Eingaben. Die erste ist der Zustand (englisch „State“), also die Daten, um die es geht. Im Beispiel vom Anfang sind das die E-Mail und vielleicht die letzten Abbuchungen des Kunden. Die zweite sind die Fragen selbst, jeweils mit den erlaubten Antworten. Laut Hersteller gibt es drei Fragetypen für solche Einschätzungen, dazu einen vierten, der Objekte in Bildern findet:
- Ja-Nein-Frage: Handelt es sich um eine Rückerstattungsanfrage?
- Auswahlfrage: Welches Team ist zuständig, Abrechnung, technischer Support oder Vertrieb?
- Bewertungsfrage: Wie dringend ist das Anliegen, auf einer Skala von niedrig bis kritisch?
Alle drei Fragen gehen in einer einzigen Anfrage an das Modell. Zurück kommen keine Sätze, sondern ausschließlich Zahlen: für die Rückerstattung etwa 0,9, also 90 Prozent; für das Team eine Wahrscheinlichkeit je Option, zum Beispiel 0,85 für die Abrechnung; für die Dringlichkeit eine Verteilung über die Skala, die hier im Bereich von hoch bis kritisch liegt.
Nur erlaubte Antworten
Ein wichtiger Nebeneffekt: Jev kann bei einer Auswahlfrage nur die Optionen nennen, die Sie vorgegeben haben. Das zuständige Team heißt immer Abrechnung, Technik oder Vertrieb, nie „Finanzabteilung“ oder eine andere erfundene Bezeichnung. Bei Sprachmodellen muss man solche Abweichungen mit strukturierten Ausgabeformaten oder nachträglicher Prüfung abfangen.
Warum das schneller und günstiger sein soll
Ein Sprachmodell schreibt eine JSON-Antwort Token für Token, und jedes Token kostet einen Rechenschritt. Jev liefert laut Hersteller alle Antworten in einem Durchgang. Das ist ein Grund, warum TypeSafe für solche Aufgaben deutlich geringere Antwortzeiten und Kosten verspricht als bei großen Sprachmodellen. Wie groß der Unterschied in Ihrer eigenen Anwendung ausfällt, lässt sich nur mit einem Test auf echten Daten beurteilen. Herstellerangaben zu Genauigkeit und Geschwindigkeit sind ein Ausgangspunkt, kein Ergebnis.
Wie ein Modell lernt, sich richtig einzuschätzen
Um zu verstehen, was an Jev anders ist, hilft ein Blick auf das Training heutiger Sprachmodelle. Im Vortraining (Pre-Training) liest ein Modell riesige Textmengen und lernt, das jeweils nächste Token vorherzusagen. Danach weiß es viel, ist aber noch kein brauchbarer Assistent. Das leistet das Nachtraining (Post-Training), das häufig auf bestärkendem Lernen (Reinforcement Learning) beruht: Das Modell antwortet, die Antwort wird bewertet, und das Modell wird in Richtung gut bewerteter Antworten verschoben. Entscheidend ist, was genau belohnt wird.
RLHF: Menschen bewerten
Beim Reinforcement Learning from Human Feedback vergleichen Menschen zwei Antworten und wählen die bessere. Aus vielen solchen Urteilen entsteht ein Belohnungsmodell, an dem das Sprachmodell ausgerichtet wird. Menschen bevorzugen allerdings Antworten, die überzeugt und flüssig klingen. Das Modell lernt dadurch auch, selbstsicher aufzutreten, wenn es falsch liegt.
RLVR: überprüfbare Ergebnisse bewerten
Beim Reinforcement Learning with Verifiable Rewards entscheidet eine automatische Prüfung: Stimmt das Ergebnis der Rechenaufgabe, bestehen die Tests des Programmcodes? Dieses Verfahren hat wesentlich dazu beigetragen, dass Reasoning-Modelle in Mathematik und Programmierung so stark geworden sind. Belohnt wird aber nur die richtige Endantwort, nicht eine zutreffende Einschätzung der eigenen Sicherheit.
RLCD: belohnte Kalibrierung
Jev wird nach Angaben von TypeSafe mit einer dritten Variante trainiert, die der Hersteller Reinforcement Learning for Calibrated Decisions nennt. Über den inneren Aufbau hat das Unternehmen wenig veröffentlicht. Bekannt ist das Prinzip: Das Modell nennt für jede Option eine Wahrscheinlichkeit und wird dafür belohnt, dass diese Wahrscheinlichkeiten zutreffen. Ein Modell, das bei unklaren Fällen 60 Prozent sagt und damit in etwa 60 Prozent der Fälle richtig liegt, schneidet besser ab als eines, das immer 99 Prozent behauptet.
Kalibrierung verstehen und selbst prüfen
Kalibrierung lässt sich am Wetterbericht erklären. Wenn an allen Tagen, für die 80 Prozent Regenwahrscheinlichkeit angesagt waren, tatsächlich an etwa 80 Prozent dieser Tage Regen fällt, ist die Vorhersage gut kalibriert. Trägt man die genannte Wahrscheinlichkeit gegen die tatsächliche Trefferquote in ein Diagramm ein, ergibt sich bei einem gut kalibrierten Modell annähernd eine Diagonale.
Wichtig ist der Unterschied zur Genauigkeit. Ein Modell kann oft richtig liegen und trotzdem schlecht kalibriert sein, wenn es seine Sicherheit systematisch überschätzt. Umgekehrt nützt eine perfekte Kalibrierung wenig, wenn das Modell bei fast jeder Frage nur 50 Prozent nennt.
Ob ein Modell für Ihre Daten kalibriert ist, sollten Sie selbst nachmessen. Dafür brauchen Sie ausreichend viele Beispiele, deren richtige Antwort bekannt ist, etwa bereits von Mitarbeitenden einsortierte Support-Anfragen. Die folgende Python-Skizze gruppiert die Vorhersagen in Wahrscheinlichkeitsbereiche und vergleicht sie mit der tatsächlichen Quote. Sie setzt nur voraus, dass Sie Wahrscheinlichkeit und richtige Antwort je Fall als Listen vorliegen haben, und ist unabhängig vom verwendeten Modell:
def kalibrierung(wahrscheinlichkeiten: list[float], treffer: list[bool], bereiche: int = 10):
"""Vergleicht genannte Wahrscheinlichkeiten mit der tatsächlichen Trefferquote."""
gruppen: dict[int, list[tuple[float, bool]]] = {}
for p, t in zip(wahrscheinlichkeiten, treffer):
index = min(int(p * bereiche), bereiche - 1)
gruppen.setdefault(index, []).append((p, t))
for index in sorted(gruppen):
faelle = gruppen[index]
mittel_p = sum(p for p, _ in faelle) / len(faelle)
quote = sum(t for _, t in faelle) / len(faelle)
print(f"genannt {mittel_p:.2f} tatsächlich {quote:.2f} ({len(faelle)} Fälle)")
# Brier-Score: mittlere quadratische Abweichung, kleiner ist besser
brier = sum((p - t) ** 2 for p, t in zip(wahrscheinlichkeiten, treffer)) / len(treffer)
print(f"Brier-Score: {brier:.3f}")
Liegen die beiden Spalten nah beieinander, können Sie den Zahlen des Modells vertrauen. Weichen sie deutlich ab, sind feste Schwellenwerte gefährlich, auch wenn die Trefferquote insgesamt gut aussieht.
Von der Wahrscheinlichkeit zur Entscheidung im Programm
Mit kalibrierten Zahlen wird die Logik im Programm einfach. Sie legen Schwellenwerte fest und ordnen jedem Bereich eine Aktion zu. Für die Rückerstattungsfrage könnte das so aussehen:
| Wahrscheinlichkeit | Aktion |
|---|---|
| über 0,9 | Die E-Mail geht direkt in die Warteschlange für Erstattungen |
| zwischen 0,1 und 0,9 | Eine Mitarbeiterin oder ein Mitarbeiter prüft den Fall |
| unter 0,1 | Keine Erstattungsanfrage, normale Bearbeitung |
Weil die Zahlen kalibriert sind, verrät die Schwelle ungefähr, wie oft der automatische Weg danebenliegt. Bei einer Schwelle von 0,9 ist im Mittel höchstens etwa jeder zehnte automatisch einsortierte Fall falsch, meist deutlich weniger, weil viele Fälle weit über der Schwelle liegen. Daraus folgt eine einfache Regel: Je teurer ein Fehler, desto höher die Schwelle und desto mehr Fälle landen bei einem Menschen. Bei einer falsch einsortierten Newsletter-Abmeldung genügt eine niedrige Schwelle, bei einer automatischen Gutschrift sollte sie hoch liegen.
Dieses Muster ist nicht neu. Klassische Klassifikationsmodelle aus dem maschinellen Lernen arbeiten seit Jahren mit Wahrscheinlichkeiten und Schwellen. Neu an Jev ist der Anspruch, dass Sie die Fragen und Antwortoptionen frei formulieren, ohne für jede Aufgabe ein eigenes Modell trainieren zu müssen.
Einsatzfelder und Grenzen
Neben dem Sortieren von Support-Anfragen nennt der Hersteller den Einsatz als Leitplanke (Guardrail) rund um einen Chatbot. Jev prüft dort ein- und ausgehende Nachrichten, etwa auf Versuche, die Regeln des Chatbots auszuhebeln (Jailbreaks), oder auf Inhalte, die nicht nach außen gehen sollen. Weitere naheliegende Anwendungen sind die Vorsortierung von Dokumenten, die Moderation von Kommentaren, die Bewertung von Leads im Vertrieb oder das Markieren auffälliger Einträge in Protokolldateien.
Einige Einschränkungen sollten Sie kennen:
- Bilder (PNG und JPEG) verarbeitet Jev nach Herstellerangaben seit Oktober 2026, allerdings als ausdrücklich noch nicht produktionsreife Funktion. Ton und Video unterstützt es nicht.
- Rechnen und Zählen gehören nicht zu seinen Stärken. Fragen wie „Enthält die Rechnung mehr als drei Positionen?“ sind unzuverlässig.
- Wie jedes KI-Modell lässt es sich durch Anweisungen täuschen, die in den gelesenen Daten versteckt sind (Prompt-Injection).
- Kalibrierung gilt für die Daten, mit denen trainiert und getestet wurde. Weichen Ihre Daten stark davon ab, etwa durch Fachsprache oder ungewöhnliche Formate, kann sie sich verschlechtern.
Dazu kommen die üblichen Fragen beim Einsatz eines externen KI-Dienstes: Wo werden die Daten verarbeitet, gibt es einen Vertrag zur Auftragsverarbeitung nach Art. 28 DSGVO, und welche personenbezogenen Daten gelangen überhaupt in die Anfrage? Support-E-Mails enthalten fast immer Namen, Adressen oder Kontodaten.
Jev, Sprachmodelle und klassische Klassifikatoren im Zusammenspiel
Werden große Sprachmodelle durch System-1-Modelle überflüssig? Nein. Beide Modellarten ergänzen sich wie Empfang und Fachabteilung eines Unternehmens. Ein möglicher Ablauf im Support:
- Jev sortiert die eingehende Nachricht und schätzt die Dringlichkeit ein.
- Ein Sprachmodell formuliert bei klaren Fällen einen Antwortentwurf, der langsame und teure Teil.
- Jev prüft den Entwurf vor dem Versand auf unzulässige Zusagen oder vertrauliche Inhalte.
Das entspricht Kahnemans Bild vom Menschen: Das meiste läuft schnell und automatisch, das gründliche Denken kommt nur dort zum Einsatz, wo es gebraucht wird.
Daneben bleibt die bewährte Alternative: ein eigenes, kleines Klassifikationsmodell, das auf Ihren Daten trainiert wird, etwa auf Basis eines kompakten Sprachmodells wie BERT. Das ist günstig im Betrieb und lässt sich im eigenen Rechenzentrum ausführen, braucht aber gelabelte Trainingsdaten und muss für jede neue Frage neu trainiert werden. Ein Modell wie Jev ist flexibler, weil Sie Fragen einfach umformulieren. Welcher Weg sich lohnt, hängt davon ab, wie oft sich Ihre Fragen ändern und wie viele Beispieldaten Sie haben.
Der Name und das Jevons-Paradoxon
Jev ist nach dem britischen Ökonomen William Stanley Jevons benannt. Er beschrieb 1865 in „The Coal Question“, dass Großbritannien trotz effizienterer Dampfmaschinen immer mehr Kohle verbrauchte: Weil die Nutzung günstiger wurde, lohnte sie sich an viel mehr Stellen. Dieser Effekt heißt heute Jevons-Paradoxon.
Bei System-1-Modellen könnte Ähnliches passieren. Wenn eine Einschätzung nur Millisekunden dauert und Bruchteile eines Cents kostet, lässt sie sich dort einsetzen, wo ein Sprachmodell heute zu langsam oder zu teuer wäre, etwa für jeden Datensatz einer Datenbank oder jede Zeile einer Protokolldatei. Die Gesamtkosten sinken dadurch nicht unbedingt, aber die Zahl der automatisierten Entscheidungen steigt. Das macht Fragen nach Kontrolle und Nachvollziehbarkeit wichtiger, nicht unwichtiger.
Was das für Ihre Software bedeutet
Jev steht für eine Entwicklung, die über ein einzelnes Produkt hinausgeht: KI-Modelle, die nicht schreiben, sondern entscheiden, und dabei ehrlich sagen, wie sicher sie sind. Für viele Unternehmensanwendungen ist das wertvoller als eine weitere Textmaschine. Kalibrierte Wahrscheinlichkeiten machen Automatisierung steuerbar, weil sich über Schwellenwerte festlegen lässt, wie viele Fehler Sie in Kauf nehmen und welche Fälle bei Menschen landen.
Überschätzt werden sollte das Modell nicht. Ob die Versprechen zu Genauigkeit, Tempo und Preis halten, zeigt nur ein Test mit eigenen, bereits bewerteten Fällen. Unsere Empfehlung: Suchen Sie in Ihren Prozessen eine Stelle, an der heute ein Sprachmodell oder ein Mensch viele gleichartige Ja-Nein- oder Auswahlentscheidungen trifft, und vergleichen Sie dort Trefferquote, Kalibrierung, Antwortzeit und Kosten. Wie sich solche KI-Bausteine in bestehende Systeme einfügen lassen, ist Thema unserer Beratung zur Integration von ChatGPT und Sprachmodellen. Wer die Grundlagen zuerst im Team aufbauen möchte, findet sie im Seminar Einführung in Künstliche Intelligenz; die wichtigsten Fachbegriffe erklärt unser Beitrag von ChatGPT bis Deep Learning.
Häufige Fragen zu Jev und System-1-KI
Kann Jev einen Chatbot ersetzen?
Nein. Jev erzeugt keinen Text und kann weder Gespräche führen noch E-Mails formulieren. Es eignet sich für Einschätzungen mit festen Antwortmöglichkeiten und arbeitet am besten zusammen mit einem Sprachmodell.
Was bedeutet „kalibriert“ bei einem KI-Modell?
Ein Modell ist kalibriert, wenn seine Wahrscheinlichkeiten zur Wirklichkeit passen. Nennt es bei vielen Fällen jeweils 80 Prozent, sollte es in etwa 80 Prozent dieser Fälle richtig liegen.
Wie findet man einen passenden Schwellenwert?
Orientieren Sie sich an den Kosten eines Fehlers. Ist eine falsche automatische Entscheidung teuer, wählen Sie eine hohe Schwelle und lassen unsichere Fälle von Menschen prüfen. Bei geringem Risiko darf die Schwelle niedriger liegen. Prüfen Sie die Wahl regelmäßig an neuen, von Menschen bewerteten Fällen.
Sind für Jev eigene Trainingsdaten nötig?
Für den Einsatz nicht, denn Sie formulieren Fragen und Antwortoptionen direkt. Für eine verlässliche Bewertung aber schon: Ohne ausreichend viele Beispiele mit bekannter richtiger Antwort können Sie weder Trefferquote noch Kalibrierung für Ihre Daten beurteilen.
Kategorien