如何用斯洛伐克语测试 Jev

目前已知的情况

厂商称英语是主要训练语言，并提醒其他语言达不到同样的效果。S01 斯洛伐克语的准确率无法从英语银行业测试中推断出来。与我们的语言环境最接近的公开数据，是 vibecoding.cz 网站上关于文章站内互链的捷克语测试；不过那是另一种语言，也只涉及一项任务。S27

我们建议的测试集

作为起点，我们建议准备 300 到 500 个经人工核对的示例；这只是起步，而不是普遍适用的质量证明。测试集应涵盖常见咨询、简略的消息、不带变音符号的文本、错别字、否定表达和信息不完整的情况。罕见的高风险类别，我们会单独评估。

使用原始客户消息需要适当的法律依据，并做到数据最小化。首次技术测试可以准备合成示例；但这些示例必须加以标注，而且在决定是否投入生产时，不能用它们替代真实且有代表性的样本。

分开的数据组

一部分数据用于拟定标准，另一部分用于设定阈值，第三部分一直不动，留到最后使用。记录规则和模型的版本。如果发现测试集有错误，不要在不加说明的情况下把它重新当作“新的独立测试”使用。

比较不同方案

我们建议的方案包括：斯洛伐克语的问题定义、针对斯洛伐克语内容的英语指令，以及视需要采用的翻译流程。采用翻译时，要把费用、耗时和可能引入的新错误一并计入。所有方案都应使用相同的案例。

结果应当展示各类别的准确率、严重错误的数量、自动化比例以及每个正确处理案例的成本。当 Jev 无法判断时，正确地转交人工处理本身就可能是一种成功，而不是硬塞一个类别。