Was wir bisher wissen
Der Hersteller nennt Englisch als wichtigste Trainingssprache und weist darauf hin, dass andere Sprachen nicht dieselben Ergebnisse erreichen. S01 Die Genauigkeit auf Slowakisch lässt sich nicht aus einem englischsprachigen Test aus dem Bankwesen ableiten. Die nächstliegende öffentliche Angabe aus dem tschechisch-slowakischen Sprachraum ist ein tschechischer Test zur internen Verlinkung von Artikeln auf vibecoding.cz; es handelt sich jedoch um eine andere Sprache und eine einzige Aufgabe. S27
Unser vorgeschlagener Testdatensatz
Für den Einstieg empfehlen wir 300 bis 500 manuell geprüfte Beispiele, nicht als universellen Qualitätsbeweis. Decken Sie typische Anfragen, verkürzte Nachrichten, Text ohne diakritische Zeichen, Tippfehler, Verneinungen und unvollständige Angaben ab. Seltene riskante Kategorien bewerten wir gesondert.
Originale Kundennachrichten erfordern eine geeignete Rechtsgrundlage und Datenminimierung. Für einen ersten technischen Test lassen sich synthetische Beispiele vorbereiten; diese müssen jedoch gekennzeichnet werden und dürfen bei der Entscheidung über den Produktivbetrieb keine echte, repräsentative Stichprobe ersetzen.
Getrennte Datengruppen
Verwenden Sie einen Teil zum Formulieren der Kriterien, einen zweiten für die Schwellenwerte, und lassen Sie den dritten bis zum Schluss unberührt. Dokumentieren Sie die Versionen von Regeln und Modellen. Wenn Sie einen Fehler im Testdatensatz entdecken, verwenden Sie ihn nicht ohne Offenlegung erneut als „neuen unabhängigen Test“.
Vergleich der Varianten
Wir schlagen eine slowakische Aufgabenstellung, englische Anweisungen zu slowakischem Inhalt und bei Bedarf einen Ablauf mit Übersetzung vor. Berücksichtigen Sie bei der Übersetzung Kosten, Zeit und mögliche neue Fehler. Alle Varianten sollen dieselben Fälle erhalten.
Das Ergebnis sollte die Genauigkeit nach Kategorien, die Zahl kritischer Fehler, den Automatisierungsanteil und die Kosten pro richtig entschiedenem Fall zeigen. Wenn Jev etwas nicht weiß, kann die korrekte Übergabe an einen Menschen ein Erfolg sein, nicht eine erzwungene Kategorie.
Quellen und Prüftiefe
- S01Models ↗
TypeSafe AI · Primärquelle abgerufen · Prüfversuch am 18. Oktober 2026
- S27Jev: model, který nepíše, jen rozhoduje. Jak ho použít a kdy se vyplatí ↗
Vibecoding.cz / Patrick Zandl · Primärquelle abgerufen · Prüfversuch am 23. September 2026