SceMQA：一个科学大学入学水平的多模态问答基准
人工智能
2024-02-09 v1 计算与语言
摘要
本文介绍了 SceMQA，一个针对大学入学水平的科学多模态问答的新型基准。它弥补了现有基准中常被忽视的一个关键教育阶段，即从高中到大学预科的水平。SceMQA 专注于核心科学科目，包括数学、物理、化学和生物。它融合了多项选择和自由回答两种格式，确保对 AI 模型能力进行全面评估。此外，我们的基准为每个问题提供了特定的知识点，并为每个答案提供了详细解释。SceMQA 还独特地呈现了上下文相同但问题各异的问题，以便更深入、更准确地评估推理能力。在实验中，我们在各种实验设置下评估了开源和闭源的最先进多模态大语言模型 (MLLM)。结果表明，需要进一步研究和开发更强大的 MLLM，因为最强模型也仅达到了 50% 到 60% 的准确率。我们的基准和分析将在 https://scemqa.github.io/ 上提供。
引用
@article{arxiv.2402.05138,
title = {SceMQA: A Scientific College Entrance Level Multimodal Question Answering Benchmark},
author = {Zhenwen Liang and Kehan Guo and Gang Liu and Taicheng Guo and Yujun Zhou and Tianyu Yang and Jiajun Jiao and Renjie Pi and Jipeng Zhang and Xiangliang Zhang},
journal= {arXiv preprint arXiv:2402.05138},
year = {2024}
}
备注
Work in progress