以统一文本到文本 Transformer 探索迁移学习的极限
机器学习
2023-09-20 v4 计算与语言
机器学习
摘要
迁移学习，即模型先在数据丰富的任务上预训练，再在下游任务上微调，已成为自然语言处理（NLP）中一种强大的技术。迁移学习的有效性催生了多种多样的方法、方法论和实践。在本文中，我们通过引入一个将所有基于文本的语言问题转换为文本到文本格式的统一框架，来探索 NLP 迁移学习技术的全景。我们的系统性研究在数十个语言理解任务上比较了预训练目标、架构、无标签数据集、迁移方法以及其他因素。通过将探索所得的见解与规模效应以及我们新的“Colossal Clean Crawled Corpus”相结合，我们在涵盖摘要生成、问答、文本分类等多个基准上取得了最先进（state-of-the-art）的结果。为促进未来 NLP 迁移学习的研究，我们发布了我们的数据集、预训练模型和代码。
引用
@article{arxiv.1910.10683,
title = {Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer},
author = {Colin Raffel and Noam Shazeer and Adam Roberts and Katherine Lee and Sharan Narang and Michael Matena and Yanqi Zhou and Wei Li and Peter J. Liu},
journal= {arXiv preprint arXiv:1910.10683},
year = {2023}
}