Jev und Kriterien klinischer Studien: Fehlende Angaben zuzugeben machte den Unterschied

Autoren der Chinese University of Hong Kong und der Capital Medical University haben am 26. Oktober 2026 auf arXiv einen Preprint veröffentlicht, der untersucht, ob Jev beurteilen kann, welche Bedingungen einer klinischen Studie ein bestimmter Patient erfüllt. S72 Es handelt sich um einen Preprint, und der Text gibt nicht an, dass er ein Begutachtungsverfahren durchlaufen hat. Für Entwickler ist er aus zwei Gründen interessant. Die Autoren arbeiteten mit der Version jev-1.14.0, auf die der Alias jev-latest heute zeigt S01, und sie verfolgten nicht nur die Genauigkeit, sondern auch, ob das Modell zugeben kann, dass ihm für eine Entscheidung zu wenige Angaben vorliegen.

Wie der Test aufgebaut war

Jedes Paar aus Patient und Bedingung musste das Modell einer Klasse zuordnen: Die Bedingung ist erfüllt (met), nicht erfüllt (not_met) oder es fehlen Informationen (insufficient). Bei einem Datensatz kam eine Klasse für Bedingungen hinzu, die auf den Patienten nicht zutreffen. S72 Die Autoren riefen Jev über eine Choice-Frage auf. Das Modell gab die gewählte Klasse, eine Wahrscheinlichkeitsverteilung über die zulässigen Klassen und eine daraus abgeleitete Sicherheit zurück, eine Begründung schreibt es jedoch nicht. S72 Zum Vergleich diente das generative Modell Qwen Flash (Alias qwen3.8-flash), das in einem festen JSON-Schema antworten musste und im Hauptvergleich ohne Denkmodus lief. S72 Wie sich diese Fragetypen unterscheiden, erklärt der Leitfaden Choice, Score und Noul.

Die Daten stammen aus drei Quellen. Die erste ist eine Stichprobe zur Methode TrialGPT, die überwiegend synthetische Patientenbeschreibungen mit Kriterien aus realen Studien verbindet. Die beiden anderen sind angepasste Fragen zu den klinischen Datensätzen MIMIC-III und MIMIC-IV. S72 Zusammen sind es 3.135 Bedingungen in 734 Aufgaben, davon bilden 2.048 Bedingungen den Haupttestteil. S72 Zahlenbasierte Fragen schlossen die Autoren aus, in MIMIC-III waren es 468 und in MIMIC-IV 700. S72 Jede Aufgabe lief in zwei Modi: entweder eine Anfrage pro Bedingung oder alle Bedingungen der Aufgabe in einem Stapel. S72

Ergebnisse: mal unentschieden, mal deutlich besser

Hauptmetrik war der Makro-F1-Wert. Im Stapelmodus erreichte Jev auf TrialGPT 0,652 und Qwen 0,660, auf MIMIC-IV 0,807 gegenüber 0,814. Auf MIMIC-III war der Abstand groß: 0,768 für Jev und 0,534 für Qwen. S72 Der Vorsprung auf MIMIC-III stammt vor allem aus der Klasse fehlender Informationen. Jev erkannte solche Bedingungen in 56,3 % der Fälle, Qwen in 9,9 %. S72

Jev veränderte sich zwischen den Modi kaum, und bei allen drei Datensätzen schloss das Konfidenzintervall der Differenz die Null ein. Qwen gewann im Stapelmodus mehr richtige Entscheidungen hinzu, die Autoren berichten dies jedoch nur beschreibend, ohne eigenes Intervall. S72

Deutlicher war der Unterschied bei der Zeit. Der Median der Dauer einer Aufgabe im Stapelmodus lag bei Jev bei 1,20 s gegenüber 4,55 s auf TrialGPT, bei 1,18 s gegenüber 2,80 s auf MIMIC-III und bei 1,40 s gegenüber 8,90 s auf MIMIC-IV. S72 Die Autoren schätzten auch eine Obergrenze der Kosten pro 1.000 Bedingungen im Stapelmodus: 0,0170 USD gegenüber 0,0645 USD, 0,2045 USD gegenüber 0,4314 USD und 0,0216 USD gegenüber 0,0684 USD. S72 Als Qwen der Denkmodus erlaubt wurde, verlängerte sich der Median der Aufgabendauer um das 2,33- bis 4,30-Fache, die Änderung des Makro-F1 war jedoch nicht nachweisbar: Alle Intervalle schlossen die Null ein. S72

Grenzen, die die Autoren selbst nennen

Die Referenzlabels stammen aus den Quelldaten und wurden nicht von Ärzten überprüft, Übereinstimmung mit ihnen ist also noch keine klinische Richtigkeit. S72 Jeder Modus lief nur einmal, daher lässt sich der Einfluss der übrigen Fragen im Stapel nicht von der üblichen Schwankung wiederholter Aufrufe trennen. Architektur und Training von Jev waren den Autoren nicht zugänglich, sie beschreiben also nur seine Schnittstelle. S72 Ihr Fazit formulieren sie vorsichtig: Sie sehen Jev als Teil einer ersten Einschätzung, die mögliche Informationslücken markiert, und seine Ausgaben müssen vor einer Entscheidung über die Aufnahme eines Patienten anhand der Patientenakte geprüft werden. S72

Was ein slowakischer Onlineshop daraus mitnehmen kann

Ein slowakischer Onlineshop befasst sich nicht mit klinischen Studien, doch die Form der Aufgabe ist ihm vertraut: prüfen, ob ein Datensatz eine Bedingung erfüllt. Etwa ob eine Reklamation die für die Bearbeitung nötigen Angaben enthält oder ob eine Produktbeschreibung aus einem Feed einen geforderten Parameter nennt. Ein Vorschlag von JEV.sk auf Grundlage dieses Preprints: Nehmen Sie unter die Optionen einer Choice-Frage ausdrücklich eine Klasse „Information fehlt“ auf. In diesem Test unterschieden sich die Modelle genau bei ihr am stärksten. S72 Zahlenbasierte Bedingungen überlassen Sie dem Code, ähnlich wie die Autoren zahlenbasierte Fragen aus der Auswertung ausschlossen. S72

Betrachten Sie die Entscheidung des Modells als erste Sortierung, nicht als endgültiges Urteil. Wie Sie Schwellenwerte der Sicherheit für automatische Verarbeitung und die Übergabe an einen Menschen festlegen, behandelt der Leitfaden Confidence und Kalibrierung. Bei den Kosten hilft der Kostenrechner: TypeSafe berechnet für jev-1.14.0 0,042 USD pro Million Eingabe-Token, Ausgabe-Token sind kostenlos. S01 Der Preprint hat keine slowakischen Texte untersucht, prüfen Sie das Modell daher vor dem Einsatz an Ihren eigenen Daten. Beim Wechsel auf eine neue Version lohnt sich auch die Checkliste im Artikel zum Alias jev-latest.