Strukturiertes Gedächtnis als Kontext für Jev: kleiner, nicht belegter Zugewinn

Drei Autoren mit E-Mail-Adressen unter der Domain abbycare.ai haben am 3. November 2026 auf arXiv einen Preprint veröffentlicht. Er untersucht, ob Jev davon profitiert, wenn man der frei formulierten Fallbeschreibung einen geordneten Block mit Fakten hinzufügt. S82 Getestet wurde das an synthetischen Patientenfällen, die Frage ist jedoch allgemein: Sollte man in den state nur Rohtext schicken oder auch vorab aufbereitete Daten? Es handelt sich um einen Preprint, der Text erwähnt kein Begutachtungsverfahren, und die Autoren bezeichnen das Ergebnis selbst als tendenziell positiv, nicht als klinische Validierung. S82

Wie der Test aufgebaut war

Die Autoren erstellten 30 vollständig synthetische Fälle aus zwölf medizinischen Bereichen und dazu 120 Fragen: 56 mit Auswahl aus Optionen, 36 Ja/Nein-Fragen und 28 Bewertungen auf einer fünfstufigen Skala. S82 Echte Patientenakten wurden nicht verwendet. S82 Jeder Fall lief in zwei Varianten. In der ersten erhielt Jev nur die Textbeschreibung des Falls. In der zweiten kam ein Gedächtnisblock hinzu, also eine Liste von Diagnosen oder Medikamenten. Jeder Eintrag hat eine normalisierte Bezeichnung, einen Status (aktiv, früher, abgeklungen), einen Beginn, eine von den Autoren vergebene Sicherheit von 0 bis 1, die Ausgangsform, ein Verneinungskennzeichen und eine optionale Notiz. S82 Alle Fragen zu einem Fall gingen in einer einzigen Anfrage, insgesamt waren es 60 gepaarte Aufrufe. S82 Wie sich die Fragetypen unterscheiden, erklärt der Leitfaden Choice, Score und Noul.

Ein wichtiges Detail: Das Gedächtnis wurde nicht automatisch aus dem Text extrahiert. Die Autoren erzeugten es synthetisch und beschreiben es selbst als Obergrenze, weil eine echte Extraktion wahrscheinlich fehlerhafter wäre. S82 Sie riefen die Early-Access-Schnittstelle von Jev auf und hielten die genaue Modellrevision in der Ergebnisdatei nicht fest. S82 Es ist daher nicht bekannt, ob es sich um die Version jev-1.14.0 handelte, auf die der Alias jev-latest heute verweist. S01

Ergebnisse: bessere Wahrscheinlichkeiten, nicht belegte Genauigkeit

Die Genauigkeit stieg von 108 von 120 Antworten (90,0 %) auf 112 von 120 (93,3 %). S82 Die Konfidenzintervalle überschneiden sich: 84,6 bis 95,4 % gegenüber 88,9 bis 97,8 %. Mit Gedächtnis wechselten fünf Fragen von einer falschen zu einer richtigen Antwort und eine in die umgekehrte Richtung. Der exakte McNemar-Test ergab p = 0,219, und die Autoren räumen ein, dass die Stichprobe für einen solchen Vergleich klein ist. S82

Deutlicher veränderten sich die Wahrscheinlichkeiten. Der logarithmische Verlust bei Auswahlfragen sank von 0,258 auf 0,175, der Brier-Score bei Ja/Nein-Fragen von 0,054 auf 0,022 und die mittlere Abweichung auf der Skala von 0,521 auf 0,469 Stufen. S82 Auf der Skala stieg der Anteil der Antworten mit höchstens einer Stufe Abweichung von 85,7 % auf 92,9 %. Die Aufschlüsselung nach Fragetyp betrachten die Autoren jedoch nur als Anregung für weitere Untersuchungen. S82

Im Sicherheitsbereich von 0,9 bis 1,0 hatte die Variante ohne Gedächtnis 55 Antworten, und alle waren richtig. Die Variante mit Gedächtnis hatte im selben Bereich 65 Antworten, davon 98,5 % richtig. S82 Das Gedächtnis verschob also mehr Antworten in den Bereich der höchsten Sicherheit. Die übrigen Bereiche waren jedoch dünn besetzt, und die Autoren schreiben ausdrücklich, dass sie keine formale Kalibrierung nachgewiesen haben. S82

Der Preis dafür waren Token. Die mittlere Eingabe pro Aufruf stieg von 553,9 auf 863,9 Token, also um 310,0 Token oder 56,0 %. Die mittlere Latenz blieb praktisch gleich: 0,51 s ohne und 0,50 s mit Gedächtnis. S82

Grenzen, die die Autoren nennen

Die Liste der Einschränkungen ist lang und sollte ernst genommen werden. Die Daten sind synthetisch und bilden Unklarheiten, Fehler oder fehlende Angaben echter Akten möglicherweise nicht ab. Die richtigen Antworten haben die Autoren ohne ärztliche Prüfung festgelegt. Der Test lief mit einem Modell und nur einmal. S82 Die Autoren weisen zudem darauf hin, dass das Schema selbst Teil des Eingriffs ist. Der Zugewinn lässt sich daher nicht allein der Struktur zuschreiben statt der Tatsache, dass ein Mensch die Daten vorab fachkundig normalisiert hat. S82 Als nächsten Schritt schlagen sie vor, das Referenzgedächtnis durch die Ausgabe einer echten Extraktion zu ersetzen und mit Rohformularen, abgerufenen Textpassagen und Zusammenfassungen zu vergleichen. S82

Was ein slowakischer Onlineshop daraus mitnehmen kann

Ein slowakischer Onlineshop hat keine Patientenakten, trifft aber bei jeder Frage an Jev eine ähnliche Wahl: nur den Text der Kundennachricht senden oder auch geordnete Daten aus dem Bestellsystem hinzufügen. Der Vorschlag von JEV.sk auf Grundlage dieses Preprints: Wenn Sie Daten hinzufügen, geben Sie ihnen wie im Test einen klaren Status und eine ausdrückliche Verneinung, zum Beispiel „Reklamation: abgeschlossen“ oder „Rücksendung: nicht gewünscht“, statt einer lose kopierten Historie. Der Preprint prüfte allerdings ein fehlerfreies Gedächtnis. Den Nutzen bei Daten, die automatisch aus E-Mails extrahiert werden, sollten Sie daher an eigenen Fällen überprüfen. S82

Die Kosten lassen sich leicht beziffern. TypeSafe berechnet für die Eingabe 0,042 USD pro Million Token, die Ausgabe ist kostenlos. S01 Bei 310 zusätzlichen Token pro Aufruf, wie in diesem Test S82, werden 100.000 Aufrufe nach der Umrechnung von JEV.sk um etwa 1,30 USD teurer. Setzen Sie Ihre eigenen Zahlen in den Kostenrechner ein. Wenn Sie anhand der Sicherheit entscheiden wollen, ob das System einen Fall selbst bearbeitet, lesen Sie den Leitfaden confidence und Kalibrierung. Eine höhere Sicherheit in diesem Test ist kein Nachweis guter Kalibrierung auf Ihren Daten, und slowakische Texte hat der Preprint nicht untersucht.