NT5?! 训练T5执行数值推理
计算与语言
2021-05-17 v2
摘要
文本上的数值推理（NRoT）提出了现有预训练目标未能很好解决的独特挑战。我们探索了五种顺序训练调度，将预训练的T5模型适配于NRoT。我们的最终模型改编自T5，但先在为强化NRoT和一般阅读理解所需技能而设计的三个数据集上进一步预训练，然后在文本离散推理（DROP）数据集上微调。该训练将DROP的调整后F1性能（一种以计算能力为核心的分数）从45.90提升至70.83。我们的模型逼近GenBERT（72.4），后者是一个使用相同数据集、参数量显著更多的定制BERT-Base模型。我们表明，用多个难度递增的数值推理数据集训练T5多任务框架，可在无需手动设计分布式与符号模块间分区功能的情况下，在DROP上取得良好性能。
引用
@article{arxiv.2104.07307,
title = {NT5?! Training T5 to Perform Numerical Reasoning},
author = {Peng-Jian Yang and Ying Ting Chen and Yuechan Chen and Daniel Cer},
journal= {arXiv preprint arXiv:2104.07307},
year = {2021}
}
备注
5 pages, 1 figure