VM14K：首个越南语医学基准
计算与语言
2025-06-16 v2
摘要
医学基准对于评估非英语社区医疗保健中语言模型的能力不可或缺，从而有助于确保实际应用的质量。然而，并非每个社区都拥有足够的资源和标准化方法来有效构建和设计此类基准，且可用的非英语医学数据通常碎片化且难以验证。我们开发了一种方法来解决此问题，并将其应用于创建首个越南语医学问题基准，包含涵盖 34 个医学专业的 14,000 道多项选择题。我们的基准使用各种可验证的来源构建，包括精心挑选的医学考试和临床记录，并最终由医学专家进行标注。该基准包含四个难度级别，从教科书中常见的生物学基础知识到需要高级推理的典型临床病例研究。得益于其广泛的覆盖范围和深入的专业特定知识，这种设计能够评估语言模型在目标语言中医学理解的广度和深度。我们分三部分发布该基准：样本公开集（4k 问题）、完整公开集（10k 问题）和用于排行榜评估的私有集（2k 问题）。每个集合均包含所有医学子领域和难度级别。我们的方法可扩展至其他语言，并且我们开源了数据构建流程，以支持未来医学领域多语言基准的开发。
引用
@article{arxiv.2506.01305,
title = {VM14K: First Vietnamese Medical Benchmark},
author = {Thong Nguyen and Duc Nguyen and Minh Dang and Thai Dao and Long Nguyen and Quan H. Nguyen and Dat Nguyen and Kien Tran and Minh Tran},
journal= {arXiv preprint arXiv:2506.01305},
year = {2025}
}