探究文本到文本迁移模型的算术学习能力
计算与语言
2021-09-13 v1 人工智能
机器学习
摘要
基于 Transformer 的预训练语言模型在大多数常规 NLP 任务中取得了巨大成功。但它们在需要数值理解的任务中常常表现不佳。一些可能的原因是分词器和预训练目标并非专门为学习和保持算术能力而设计。在此，我们探究了文本到文本迁移学习模型（T5）学习算术的能力，该模型在常规 NLP 任务中已超越其前代模型。我们考虑了四项算术任务：计数、量级顺序预测、寻找序列中的最小值和最大值以及排序。我们发现，尽管 T5 模型在插值设置下表现合理，但在所有四项任务的外推设置中均存在明显困难。
引用
@article{arxiv.2109.04672,
title = {Investigating Numeracy Learning Ability of a Text-to-Text Transfer Model},
author = {Kuntal Kumar Pal and Chitta Baral},
journal= {arXiv preprint arXiv:2109.04672},
year = {2021}
}
备注
7 pages, 10 figures, 5 tables, Accepted in the Findings of EMNLP 2021