RVAE-LAMOL：利用残差变分自编码器增强终身语言学习
计算与语言
2022-05-24 v1 人工智能
机器学习
摘要
终身语言学习（LLL）旨在训练神经网络以学习一连串 NLP 任务，同时保留来自先前任务的知识。然而，先前遵循无数据约束的工作仍遭受灾难性遗忘问题，即模型遗忘刚从先前任务中学到的内容。为缓解灾难性遗忘，我们提出残差变分自编码器（RVAE）来增强近期 LLL 模型 LAMOL，通过将不同任务映射至有限的统一语义空间。在该空间中，先前任务易于通过伪样本被正确还原至其自身分布。此外，我们提出一个恒等任务，使模型能判别样本属于哪一任务。为更好地训练 RVAE-LAMOL，我们提出了一种新颖的训练方案交替滞后训练（Alternate Lag Training）。实验中，我们在 DecaNLP 三个数据集的多种排列上测试 RVAE-LAMOL。实验结果表明，RVAE-LAMOL 在所有排列上均优于朴素 LAMOL，并生成更有意义的伪样本。
引用
@article{arxiv.2205.10857,
title = {RVAE-LAMOL: Residual Variational Autoencoder to Enhance Lifelong Language Learning},
author = {Han Wang and Ruiliu Fu and Xuejun Zhang and Jun Zhou},
journal= {arXiv preprint arXiv:2205.10857},
year = {2022}
}
备注
This paper has been accepted for publication at IJCNN 2022 on IEEE WCCI 2022; Oral presentation