COMET：面向数学问题生成的“经验锥”增强大多模态模型
人工智能
2024-07-17 v1
摘要
高质量数学问题的自动生成在许多教育场景中具有实际价值。由于在跨模态数据场景中取得广泛成功，大型多模态模型为数学问题生成提供了一种新型技术方法。然而，传统方法将问题解决与问题生成分离，而主流的微调框架（单调的数据结构和同质的训练目标）限制了大型多模态模型在数学问题生成中的应用。为应对这些挑战，本文提出了COMET——一个“经验锥”增强的数学问题生成大型多模态模型。首先，从互促能力和应用逻辑的角度，我们将题目生成与问题解决统一到数学问题生成中。其次，提出了一个由“经验锥”指导的三阶段微调框架。该框架将微调数据分为符号经验、图示经验和直接经验，以类比教师职业生涯中的经验。本框架设计了若干细粒度的数据构建和注入方法。最后，我们构建了一个中文多模态数学问题数据集，以弥补该领域中文多模态数据的空白。结合客观与主观指标，对多个数据集上的实验充分验证了所提框架与模型的有效性。
引用
@article{arxiv.2407.11315,
title = {COMET: "Cone of experience" enhanced large multimodal model for mathematical problem generation},
author = {Sannyuya Liu and Jintian Feng and Zongkai Yang and Yawei Luo and Qian Wan and Xiaoxuan Shen and Jianwen Sun},
journal= {arXiv preprint arXiv:2407.11315},
year = {2024}
}