中间任务训练在领域自适应与跨语言迁移学习中的（无）有效性
计算与语言
2022-11-08 v2
摘要
从大语言模型（LLM）进行迁移学习已成为一种强大技术，可实现对若干任务的知识型微调、模型对不同领域乃至语言的适配。然而，迁移学习何时有效仍是一个开放问题，即何时产生正迁移或负迁移。本文中，我们分析了三种自然语言处理（NLP）任务——文本分类、情感分析和句子相似度——在三种LLM（BERT、RoBERTa和XLNet）上的知识迁移，通过在目标数据集上微调以进行领域与跨语言适配任务，并比较有/无在更大数据集上中间任务训练的情况，来分析其性能。实验表明，对于大多数任务，无中间任务训练的微调可取得更好性能，而更通用的任务可能需要前置的中间任务训练步骤。我们希望本工作能作为NLP从业者进行迁移学习的指南。
引用
@article{arxiv.2210.01091,
title = {The (In)Effectiveness of Intermediate Task Training For Domain Adaptation and Cross-Lingual Transfer Learning},
author = {Sovesh Mohapatra and Somesh Mohapatra},
journal= {arXiv preprint arXiv:2210.01091},
year = {2022}
}
备注
1 figure, 1 table