Schwachstellen im Code finden: Preprint Cyber-JEV vergleicht Jev mit einem eigenen Modell

Sieben Autoren haben Anfang November 2026 auf arXiv den Preprint Cyber-JEV veröffentlicht. S80 Er untersucht, wie sich Funktionen im Quellcode nach dem Risiko ordnen lassen, dass sie einen Sicherheitsfehler enthalten, damit Prüfer mit den verdächtigsten beginnen können. Jev 1.13 dient darin als Vergleichspunkt für ein eigenes feinjustiertes offenes Modell. S80 Für Entwickler ist die Arbeit vor allem deshalb nützlich, weil sie zeigt, wie sich Jev bei einer Aufgabe verhält, in der die gesuchten Fälle sehr selten sind, und weil sie daran erinnert, dass der voreingestellte Schwellenwert nicht sinnvoll sein muss. Es handelt sich um einen Preprint, der noch kein Peer-Review durchlaufen hat; dieser Artikel beruht auf dem vollständigen Text.

Was die Autoren gebaut haben

Grundlage ist das offene Modell Qwen3.5-4B, das die Autoren mit LoRA feinjustiert und um eine Ausgabe für binäre Klassifikation ergänzt haben. S80 Das Hauptproblem sahen sie in den Daten. Saubere Vergleichsdatensätze enthalten nur wenige verwundbare Funktionen, große Patch-Archive dagegen ausschließlich verwundbare. Werden sie gemischt, kann ein Modell lernen zu erkennen, woher eine Funktion stammt, statt ob sie fehlerhaft ist. S80

Die Autoren bildeten deshalb aus jedem Fix-Commit eine kleine Gruppe: die verwundbare Funktion, ihre korrigierte Version und höchstens zwei unveränderte Funktionen aus derselben Datei. So entstanden 2.829 Gruppen mit 10.099 Funktionen. S80 Innerhalb der Gruppe lernt das Modell, die verwundbare Version höher zu bewerten als die übrigen Mitglieder. Nach Angaben der Autoren heben sich so Einflüsse auf, die dem ganzen Repository gemeinsam sind. S80

Die Notwendigkeit dieses Vorgehens belegen sie mit einer Zahl. Ein auf übliche Weise nur mit den Referenzdaten feinjustiertes Modell gab in 67,2 % der Paare aus verwundbarer Version und Patch dem korrigierten Code die höhere Bewertung. S80 Diese Zahl betrifft ihre eigene Basisvariante, nicht Jev.

Wie Jev 1.13 abgeschnitten hat

Der wichtigste Testdatensatz umfasst 7.270 Funktionen aus 57 Open-Source-Projekten. Davon sind 322 verwundbar, also 4,43 %. S80 Jev 1.13 riefen die Autoren über die offizielle API mit demselben Prompt wie die anderen Modelle auf. Der Preprint nennt jedoch weder den Wortlaut der Frage noch, ob Noul, Choice oder Score verwendet wurde. S80

Beim Ordnen der Funktionen erreichte Jev einen AUROC von 0,743, das Ensemble aus fünf Cyber-JEV-Modellen 0,814. Die durchschnittliche Präzision (Average Precision) lag bei 0,101 gegenüber 0,197. S80 Bei einer strengen Grenze von 1 % Fehlalarmen erkannte Jev 7 Schwachstellen und Cyber-JEV 33. S80

Für die Praxis ist die Angabe zum Schwellenwert am interessantesten. Beim voreingestellten Schwellenwert p > 0,5 löste Jev 4.031 Warnungen aus, mehr als die Hälfte aller getesteten Funktionen. S80 Bei gleicher Zahl von Warnungen übersah Jev 39 Schwachstellen und Cyber-JEV 16. S80

Die Autoren untersuchten auch Paare aus verwundbarer und korrigierter Funktion und prüften, ob das Modell die fehlerhafte höher bewertet. Jev gab beiden Versionen in 18,8 % der Paare dieselbe Wahrscheinlichkeit, also in 51 von 271. Sein Ergebnis von 50,7 % enthält daher einen halben Punkt für jedes solche Unentschieden. Ohne sie gewann Jev nur in 41,3 % der Paare, Cyber-JEV in 47,6 %. S80 Beide Werte liegen unter der Hälfte; einen Fix von einem Fehler zu unterscheiden, war in diesem Test also für beide Modelle schwierig.

Wo die Grenzen liegen

Die Autoren geben an, dass sie das System nicht in CI eingesetzt, nicht über aufeinanderfolgende Releases laufen lassen und damit keine neuen Schwachstellen gesucht haben. Die Testpaare stammen aus historischen Korrekturen, nicht aus laufenden Pull Requests. S80 Ein direkter Vergleich mit Werkzeugen wie CodeQL oder Semgrep bei derselben Aufgabe fehlt, und zu Geschwindigkeit oder Genauigkeit im Vergleich mit ihnen machen die Autoren keine Aussage. Eine Veröffentlichung des Codes oder der Modellgewichte erwähnt der Preprint nicht. S80

Getestet wurde Jev 1.13. Die Dokumentation von TypeSafe nennt heute jev-1.14.0 als neueste Version, verfügbar seit dem 14. Oktober 2026. S01 Wie die neuere Version bei dieser Aufgabe abschneiden würde, untersucht der Preprint nicht.

Was Entwickler und Onlineshops daraus mitnehmen können

Sicherheitsprüfung von Code ist keine typische Aufgabe eines Onlineshops, die Lehre aus dem Preprint gilt aber überall, wo die gesuchten Fälle selten sind. Als sie 4,43 % ausmachten, markierte der Schwellenwert 0,5 mehr als die Hälfte der Funktionen. S80 Die folgenden Empfehlungen sind unser eigener Vorschlag, kein Ergebnis des Preprints. Legen Sie den Schwellenwert danach fest, wie viele Fälle Ihr Team tatsächlich prüfen kann, und überprüfen Sie ihn mit eigenen Daten. Die Zusammenhänge erklärt der Leitfaden Confidence und Kalibrierung.

Wenn Sie die Ergebnisse von Jev zum Sortieren verwenden, rechnen Sie mit Gleichständen. Erhalten zwei Fälle dieselbe Wahrscheinlichkeit, muss ein weiteres Kriterium im Code die Reihenfolge bestimmen, etwa der Umfang der Änderung oder das Alter des Codes.

Die Autoren beschreiben ihr Modell als erste Stufe, die geänderte Funktionen vor einer tieferen Analyse ordnet. S80 Dieselbe Rolle eines günstigen ersten Filters beschreibt auch unser Artikel zur Bewerter-Kaskade. Bei langen Eingaben wie Funktionen im Quellcode spielen auch die Kosten eine Rolle. Eingabe-Token kosten 0,042 USD pro Million, die Ausgabe ist kostenlos. S01 Die Seite Preise und Limits erleichtert die Kostenschätzung.