面向教学评估的图表驱动课程问题生成
计算机视觉与模式识别
2025-09-09 v5
摘要
视觉问题生成（VQG）研究主要聚焦于自然图像，忽略了教育材料中至关重要的图表。为满足教学评估需求，我们提出了图表驱动课程问题生成（DDCQG）任务，并构建了 DiagramQG 数据集，包含 15,720 张图表和 25,798 个问题，覆盖 37 个学科和 371 门课程。我们的方法利用课程约束和输入文本约束来生成关于特定图表元素的课程相关问题。我们揭示了 DDCQG 的三个挑战：跨课程的领域特定知识要求、课程覆盖的长尾分布以及图表的高信息密度。为此，我们提出了层次化知识集成框架（HKI-DDCQG），该框架利用可训练的 CLIP 模型识别相关图表块，利用冻结视觉-语言模型进行知识提取，并利用可训练的 T5 生成问题。实验表明，HKI-DDCQG 在 DiagramQG 数据集上优于现有模型，同时在自然图像数据集上保持良好的可泛化性，为 DDCQG 建立了强大的基线。
引用
@article{arxiv.2411.17771,
title = {Diagram-Driven Course Questions Generation},
author = {Xinyu Zhang and Lingling Zhang and Yanrui Wu and Muye Huang and Wenjun Wu and Bo Li and Shaowei Wang and Basura Fernando and Jun Liu},
journal= {arXiv preprint arXiv:2411.17771},
year = {2025}
}