VietMed-MCQ：面向越南传统医学评估的一致性过滤数据合成框架
计算与语言
2026-01-08 v1
摘要
大语言模型 (LLM) 在一般医学领域展现出显著能力，但在专业且文化特定的领域如越南传统医学 (VTM) 中的表现显著下降，主要由于高质量结构化基准数据稀缺。本文引入 VietMed-MCQ，一套通过检索增强生成 (RAG) 流程构建的多选问答数据集，集成了自动一致性检查机制。不同于以往合成数据集，我们的框架采用双模型验证方法，通过独立答案验证确保推理一致性，尽管基于子串的证据检查存在已知局限。该数据集包含 3190 题，覆盖三个难度级别，并经一位医学专家和四名学生验证，获得 94.2% 的批准率，显著的项目间一致性 (Fleiss' kappa = 0.82)。我们在 VietMed-MCQ 上对比评估了七个开源模型。结果显示，具备强中文先验的通用模型在越南语模型中 outperforms，凸显了跨语言概念迁移，而所有模型仍在复杂诊断推理方面受限。我们的代码和数据集已公开，以促进低资源医学领域的研究。
引用
@article{arxiv.2601.03792,
title = {VietMed-MCQ: A Consistency-Filtered Data Synthesis Framework for Vietnamese Traditional Medicine Evaluation},
author = {Huynh Trung Kiet and Dao Sy Duy Minh and Nguyen Dinh Ha Duong and Le Hoang Minh Huy and Long Nguyen and Dien Dinh},
journal= {arXiv preprint arXiv:2601.03792},
year = {2026}
}
备注
11 pages, 4 figures. Dataset and code released