面向越南语对抗自然语言推理的新基准数据集与混合专家语言模型
计算与语言
2025-10-24 v3
摘要
现有的越南语自然语言推理（NLI）数据集缺乏对抗性复杂度，限制了其评估模型对具有挑战性的语言现象的鲁棒性的能力。在本文中，我们通过引入ViANLI（首个越南语对抗NLI数据集）来填补鲁棒越南语NLI资源的空白，并提出NLIMoE（一种混合专家模型）以应对其复杂性。我们采用对抗性人机协同方法构建ViANLI，并进行了严格验证。NLIMoE在共享Transformer编码器之上集成了专家子网络与学习到的动态路由机制。ViANLI包含超过10,000个前提-假设对，对最先进的模型构成挑战，其中XLM-R Large仅达到45.5%的准确率，而NLIMoE达到47.3%。使用ViANLI进行训练可提升在其他基准越南语NLI数据集（包括ViNLI、VLSP2021-NLI和VnNewsNLI）上的性能。ViANLI已发布，旨在促进模型鲁棒性研究，并丰富未来越南语和多语言NLI研究的资源。
引用
@article{arxiv.2406.17716,
title = {A New Benchmark Dataset and Mixture-of-Experts Language Models for Adversarial Natural Language Inference in Vietnamese},
author = {Tin Van Huynh and Kiet Van Nguyen and Ngan Luu-Thuy Nguyen},
journal= {arXiv preprint arXiv:2406.17716},
year = {2025}
}
备注
Accepted by Expert Systems with Applications