MWP-BERT：用于数学应用题求解的数值增强预训练
人工智能
2022-05-12 v2
摘要
数学应用题（MWP）求解在数值表示学习中面临困境。为了避免数值表示问题并缩减可行解的搜索空间，现有致力于 MWP 求解的工作通常用符号占位符替换实数以聚焦于逻辑推理。然而，不同于程序合成和知识图谱推理等常见符号推理任务，MWP 求解在数值推理上有额外要求。换言之，在数值推理中重要的不是数值本身，而是可复用的数值属性。因此，我们认为将数值属性注入符号占位符并采用上下文表示学习框架，可为此处的数值表示困境提供出路。本工作中，我们将这一思想引入流行的预训练语言模型（PLM）技术并构建了 MWP-BERT，一种有效的上下文数值表示 PLM。我们在英文和中文基准上展示了我们的 MWP-BERT 在 MWP 求解及若干 MWP 专用理解任务上的有效性。
引用
@article{arxiv.2107.13435,
title = {MWP-BERT: Numeracy-Augmented Pre-training for Math Word Problem Solving},
author = {Zhenwen Liang and Jipeng Zhang and Lei Wang and Wei Qin and Yunshi Lan and Jie Shao and Xiangliang Zhang},
journal= {arXiv preprint arXiv:2107.13435},
year = {2022}
}
备注
Accepted by the Findings of NAACL 2022