半监督终身语言学习
计算与语言
2022-11-24 v1
摘要
终身学习的目的是在顺序学习任务时积累知识并缓解灾难性遗忘。然而，现有的终身语言学习方法仅关注监督学习设定。在真实场景中易于获取的无标签数据尚未得到充分探索。本文探索了一种新设定——半监督终身语言学习（SSLL），其中模型利用有标签和无标签数据顺序学习不断到来的语言任务。我们提出了一种无标签数据增强的终身学习器来探索 SSLL。具体而言，我们分配任务特定模块以缓解灾难性遗忘，并设计两个模块来利用无标签数据：（1）基于师生框架构建虚拟监督增强的任务求解器，从无标签数据中挖掘潜在知识；（2）构建向后增强学习器，以促进从新到达的无标签数据到先前任务的知识迁移。在多种语言任务上的实验结果表明，在新设定 SSLL 下，我们的模型相对于具有竞争力的基线具有有效性和优越性。
引用
@article{arxiv.2211.13050,
title = {Semi-Supervised Lifelong Language Learning},
author = {Yingxiu Zhao and Yinhe Zheng and Bowen Yu and Zhiliang Tian and Dongkyu Lee and Jian Sun and Haiyang Yu and Yongbin Li and Nevin L. Zhang},
journal= {arXiv preprint arXiv:2211.13050},
year = {2022}
}
备注
EMNLP Findings 2022 Long Paper