预训练语言模型的领域自适应与泛化：综述
计算与语言
2022-11-08 v1
摘要
NLP的最新进展由一系列大规模预训练语言模型（PLM）带来。这些PLM为一系列NLP任务带来了显著的性能提升，避免了对特定任务定制复杂设计的需求。然而，当前大多数工作聚焦于在领域特定数据集上微调PLM，忽视了领域差距可能导致过拟合甚至性能下降的事实。因此，寻找合适的方法将PLM有效自适应到目标领域具有重要的实际意义。近来，一系列方法被提出以实现此目的。早期的领域自适应综述因PLM相对于从头训练的传统模型所表现出的复杂行为而不再适用，且PLM的领域自适应需要重新设计才能生效。本文旨在对这些新提出的方法进行综述，并阐明如何将传统机器学习方法应用于新演进及未来的技术。通过考察部署PLM于下游任务的问题，我们从机器学习系统视角提出了领域自适应方法的分类体系，涵盖输入增强、模型优化和个性化方法。我们讨论并比较了这些方法，并提出了有前景的未来研究方向。
引用
@article{arxiv.2211.03154,
title = {On the Domain Adaptation and Generalization of Pretrained Language Models: A Survey},
author = {Xu Guo and Han Yu},
journal= {arXiv preprint arXiv:2211.03154},
year = {2022}
}