跨越语言视野：越南语大语言模型的微调与综合评估
计算与语言
2024-05-28 v2 人工智能
摘要
大语言模型(LLM)的最新进展凸显了它们在人工智能发展中的重要性。然而，尽管在多语言数据集上进行了大量预训练，现有的开源LLM在处理越南语方面效果有限。由于缺乏针对越南语LLM评估的系统性基准数据集和指标，这一挑战更加严峻。为了缓解这些问题，我们专门针对越南语微调了LLM，并开发了一个包含10个常见任务和31个指标的综合评估框架。我们的评估结果表明，微调后的LLM在越南语理解和生成能力方面表现出增强。此外，我们的分析表明，参数更多的模型可能引入更多偏差和未校准的输出，而影响LLM性能的关键因素是训练或微调数据集的质量。这些见解强调了使用高质量数据集进行细致微调对提升LLM性能的重要性。
引用
@article{arxiv.2403.02715,
title = {Crossing Linguistic Horizons: Finetuning and Comprehensive Evaluation of Vietnamese Large Language Models},
author = {Sang T. Truong and Duc Q. Nguyen and Toan Nguyen and Dong D. Le and Nhi N. Truong and Tho Quan and Sanmi Koyejo},
journal= {arXiv preprint arXiv:2403.02715},
year = {2024}
}
备注
51 pages