VNHSGE：面向大语言模型的越南高中毕业考试数据集
计算与语言
2023-07-06 v1
摘要
本文介绍了专为评估大语言模型(LLMs)而开发的VNHSGE（越南高中毕业考试）数据集。该数据集涵盖九门学科，由越南国家高中毕业考试及类似测试生成。其中收录了300篇文学作文，并包含超过19000道关于各类主题的选择题。通过纳入文本数据及配套图像，该数据集在问答、文本生成、阅读理解、视觉问答等多任务场景下评估LLMs。我们利用ChatGPT和BingChat在VNHSGE数据集上评估LLMs，并将其表现与越南学生对比以考察其性能。结果表明，ChatGPT和BingChat在文学、英语、历史、地理和公民教育等多个领域均达到人类水平。然而，它们在数学、物理、化学和生物学等领域仍有提升空间。VNHSGE数据集凭借广泛的覆盖面和多样的任务，力求为评估LLMs能力提供充分的基准。我们打算通过向科学界开放此数据集来促进LLMs开发的未来进展，特别是在解决LLMs在数学和自然科学相关学科中的局限方面。
引用
@article{arxiv.2305.12199,
title = {VNHSGE: VietNamese High School Graduation Examination Dataset for Large Language Models},
author = {Xuan-Quy Dao and Ngoc-Bich Le and The-Duy Vo and Xuan-Dung Phan and Bac-Bien Ngo and Van-Tien Nguyen and Thi-My-Thanh Nguyen and Hong-Phuoc Nguyen},
journal= {arXiv preprint arXiv:2305.12199},
year = {2023}
}
备注
74 pages, 44 figures