面向数学应用题的表达式语法信息瓶颈
计算与语言
2026-01-12 v2
摘要
数学应用题（MWP）旨在自动求解文本给出的数学问题。以往研究倾向于设计复杂模型以捕获原文本中的额外信息，使模型获得更全面的特征。本文反其道而行，致力于如何丢弃含伪相关性的冗余特征以求解MWP。为此，我们基于变分信息瓶颈设计了面向MWP的表达式语法信息瓶颈方法（称为ESIB），其提取表达式语法树的本质特征，同时过滤含语法无关特征的潜变量特定冗余。ESIB的核心思想是通过互学习鼓励多个模型对同一问题的不同问题表示预测相同的表达式语法树，从而捕获表达式语法树的一致信息并丢弃潜变量特定冗余。为提升模型泛化能力并生成更多样表达式，我们设计自蒸馏损失以鼓励模型更多依赖潜空间中表达式语法信息。在两个大规模基准上的实验表明，我们的模型不仅取得最先进结果，还生成更多样的解。代码见https://github.com/menik1126/math_ESIB。
引用
@article{arxiv.2310.15664,
title = {Expression Syntax Information Bottleneck for Math Word Problems},
author = {Jing Xiong and Chengming Li and Min Yang and Xiping Hu and Bin Hu},
journal= {arXiv preprint arXiv:2310.15664},
year = {2026}
}
备注
This paper has been accepted by SIGIR 2022. The code can be found at https://github.com/menik1126/math_ESIB