域对抗微调作为一种有效正则化器
机器学习
2020-10-07 v2 机器学习
摘要
在自然语言处理（NLP）中，迁移至下游任务的预训练语言模型（LM）近期被证明可取得最先进结果。然而，标准微调会破坏预训练期间捕获的通用领域表示。为解决此问题，我们引入一种新的正则化技术 AFTER；域对抗微调作为一种有效正则化器（domain Adversarial Fine-Tuning as an Effective Regularizer）。具体而言，我们在微调所用的任务特定损失之外补充一个对抗目标。该附加损失项与一个对抗分类器相关，旨在区分域内与域外文本表示。域内指当前任务的标注数据集，而域外指来自不同领域的未标注数据。直观上，对抗分类器充当正则化器，防止模型对任务特定领域过拟合。在各种自然语言理解任务上的实证结果表明，与标准微调相比，AFTER 带来了性能提升。
引用
@article{arxiv.2009.13366,
title = {Domain Adversarial Fine-Tuning as an Effective Regularizer},
author = {Giorgos Vernikos and Katerina Margatina and Alexandra Chronopoulou and Ion Androutsopoulos},
journal= {arXiv preprint arXiv:2009.13366},
year = {2020}
}
备注
EMNLP 2020, Findings of EMNLP