通过预测推理顺序度量并提升 BERT 的数学能力
计算与语言
2021-06-09 v1 人工智能
机器学习
摘要
想象你在一家超市。你的篮子里有两根香蕉，还想买四个苹果。你一共有多少水果？这个看似简单的问题对于数据驱动的语言模型来说可能具有挑战性，即便经过大规模训练也是如此。然而，我们期望此类通用语言模型除了典型的语言能力外，还具备一定的数学能力。为此，我们研究一个常用的语言模型 BERT 是否拥有这样的数学能力，如果有，程度如何。为此，我们在广受欢迎的词语数学问题数据集 AQuA-RAT 上微调 BERT，并开展多项测试以更好地理解所学表征。由于我们教导在自然语言上训练的模型进行形式化数学运算，我们假设此类模型将受益于对解释数学结果如何推导的半形式化步骤的训练。为了更好地适应这种训练，我们还提出了用于学习数学规则的新预训练任务。我们称之为（邻域）推理顺序预测（ROP 或 NROP）。借助这一新模型，我们取得了显著优于数据驱动基线甚至与更具针对性模型相当的结果。我们还展示了如何减少此类模型中的位置偏差。
引用
@article{arxiv.2106.03921,
title = {Measuring and Improving BERT's Mathematical Abilities by Predicting the Order of Reasoning},
author = {Piotr Piękos and Henryk Michalewski and Mateusz Malinowski},
journal= {arXiv preprint arXiv:2106.03921},
year = {2021}
}
备注
The paper has been accepted to the ACL-IJCNLP 2021 conference