面向多模态生成式 AI 的韩国教育标准评估基准
计算与语言
2025-02-24 v1 人工智能
计算机视觉与模式识别
摘要
本文提出了韩国国家教育测试基准（KoNET），以评估多模态生成式 AI 系统。KoNET 包含四个考试：韩国小学通用教育发展测试（KoEGED）、初中（KoMGED）、高中（KoHGED）以及韩国高等学校学业能力测试（KoCSAT）。这些考试以严格的标准和多样化的问题著称，促进了对 AI 在不同教育水平上的性能进行全面分析。通过聚焦韩语，KoNET 提供了对模型在较少探索的语言上的表现的见解。我们评估了各种模型——开源、开放获取和封闭 API——通过检查难度、学科多样性和人类错误率。代码和数据集构建器将在 https://github.com/naver-ai/KoNET 上完全开源。
引用
@article{arxiv.2502.15422,
title = {Evaluating Multimodal Generative AI with Korean Educational Standards},
author = {Sanghee Park and Geewook Kim},
journal= {arXiv preprint arXiv:2502.15422},
year = {2025}
}
备注
18 pages; To appear at NAACL 2025 Main Conference (Project page: https://github.com/naver-ai/KoNET )