BERT 是跨领域知识学习者吗?关于预训练模型可迁移性的一项惊人发现
计算与语言
2022-04-20 v3 机器学习
摘要
本文研究了在文本数据上预训练的模型(如 BERT)的能力是否可以迁移到一般的 token 序列分类应用中。为验证预训练模型的可迁移性,我们在 token 含义不匹配的文本分类任务以及真实世界的非文本 token 序列分类数据(包括氨基酸、DNA 和音乐)上测试了预训练模型。我们发现,即使在非文本数据上,文本预训练的模型也比随机初始化的模型收敛更快、表现更好,且仅比使用任务特定知识的模型略差。我们还发现文本与非文本预训练模型的表示具有非平凡的相似性。
引用
@article{arxiv.2103.07162,
title = {Is BERT a Cross-Disciplinary Knowledge Learner? A Surprising Finding of Pre-trained Models' Transferability},
author = {Wei-Tsung Kao and Hung-Yi Lee},
journal= {arXiv preprint arXiv:2103.07162},
year = {2022}
}
备注
Findings of EMNLP 2021