面向实用数学题解的多样性增强知识蒸馏模型
计算与语言
2025-01-08 v1 人工智能
摘要
数学题解 (Math Word Problem, MWP) 是自然语言处理中的关键任务，近年来受到广泛关注。各类研究方法高度依赖 Seq2Seq 模型及其延伸（如 Seq2Tree、Graph2Tree）生成数学方程。虽然有效，但这些模型在生成多样且对应解题方程方面存在挑战，限制了其在不同数学题情景下的泛化能力。本文提出一种新型的多样性增强知识蒸馏 (Diversity-enhanced Knowledge Distillation, DivKD) 模型，用于实用化 MWP 求解。我们设计了自适应的多样性蒸馏方法，使得学生模型能够通过有选择地从教师模型中转移高质量知识，学习到多样化的方程。此外，我们引入多样性先验增强的学生模型，通过融合条件变分自编码器，更好地捕捉方程的多样性分布。在四个 MWP 基准数据集上的大量实验表明，我们的方法在保持高效能的同时，比强基准模型取得更高的答案准确率。
引用
@article{arxiv.2501.03670,
title = {A Diversity-Enhanced Knowledge Distillation Model for Practical Math Word Problem Solving},
author = {Yi Zhang and Guangyou Zhou and Zhiwen Xie and Jinjin Ma and Jimmy Xiangji Huang},
journal= {arXiv preprint arXiv:2501.03670},
year = {2025}
}