DAdEE: 早期退出预训练语言模型中的无监督域适应
计算与语言
2024-10-08 v1 人工智能
摘要
预训练语言模型（PLMs）通过自监督在各种任务中展现出良好的准确性和泛化能力，但其庞大的规模导致推理延迟较高。早期退出（EE）策略通过允许样本从附加在中间层的分类器退出来解决这一问题，但由于退出分类器可能对域变化敏感，它们泛化能力不佳。为了解决这个问题，我们提出了EE框架中的无监督域适应（DADEE），该框架利用知识蒸馏实现多层次适应。DADEE在每一层使用基于GAN的对抗性适应来实现域不变表示，从而减少所有层上源域和目标域之间的域差距。附加的退出不仅加速了推理，还通过减少灾难性遗忘和模式崩溃来增强域适应，使其更适合现实场景。在情感分析、蕴含分类和自然语言推理等任务上的实验表明，DADEE在域偏移场景下不仅持续优于早期退出方法，也优于各种域适应方法。匿名源代码可在https://github.com/Div290/DAdEE获取。
引用
@article{arxiv.2410.04424,
title = {DAdEE: Unsupervised Domain Adaptation in Early Exit PLMs},
author = {Divya Jyoti Bajpai and Manjesh Kumar Hanawal},
journal= {arXiv preprint arXiv:2410.04424},
year = {2024}
}
备注
To appear in EMNLP (findings) 2024