WangchanLion与WangchanX MRC评估
计算与语言
2024-04-24 v2 人工智能
摘要
本技术报告描述了WangchanLion的开发，这是一个专注于泰语机器阅读理解（MRC）的指令微调模型。我们的模型基于SEA-LION和一系列指令遵循数据集。为了促进开放研究和可复现性，我们在Apache-2许可下公开发布了所有训练数据、代码和最终模型权重。为了评估上下文理解能力，我们使用两个泰语MRC数据集XQuAD和Iapp_wiki_qa_squad进行了广泛的实验研究。实验结果证明了该模型在0-shot和1-shot设置下理解上下文并生成与参考答案一致的答案的能力。此外，我们的评估超越了传统的MRC。我们提出了一种新的评估方案，用于评估答案的正确性、有用性、简洁性和上下文性。我们的代码已在 https://github.com/vistec-AI/WangchanLion 公开提供。
引用
@article{arxiv.2403.16127,
title = {WangchanLion and WangchanX MRC Eval},
author = {Wannaphong Phatthiyaphaibun and Surapon Nonesung and Patomporn Payoungkhamdee and Peerat Limkonchotiwat and Can Udomcharoenchaikit and Jitkapat Sawatphol and Chompakorn Chaksangchaichot and Ekapol Chuangsuwanich and Sarana Nutanong},
journal= {arXiv preprint arXiv:2403.16127},
year = {2024}
}