基于算术的预训练——提升预训练语言模型的数值能力
计算与语言
2023-06-12 v2
摘要
最先进的预训练语言模型在直接应用于需要理解并处理数字的任务时，往往表现低于其应有能力。近期研究指出两个主要原因：（1）流行的分词算法对数字的表达能力有限；（2）常见的预训练目标并未针对数值能力。解决这些缺陷的方法通常需要进行架构改动或从零预训练。本文中，我们提出一种称为基于算术的预训练（Arithmetic-Based Pretraining）的扩展预训练新方法，它在一步扩展预训练中联合解决上述两方面问题，无需架构改动或从零预训练。基于算术的预训练结合对比学习以改进数字表示，以及一种称为可推断数字预测任务的新型扩展预训练目标以提升数值能力。我们的实验在三个需要改进数值能力的不同任务中显示了基于算术的预训练的有效性，即 DROP 数据集中的阅读理解、InfoTabs 数据集中的表格推理，以及 WikiBio 与 SciGen 数据集中的表到文本生成。
引用
@article{arxiv.2205.06733,
title = {Arithmetic-Based Pretraining -- Improving Numeracy of Pretrained Language Models},
author = {Dominic Petrak and Nafise Sadat Moosavi and Iryna Gurevych},
journal= {arXiv preprint arXiv:2205.06733},
year = {2023}
}
备注
Published at StarSEM2023