迈向鲁棒性与多样性：基于 Text-Mixup 与批核范数最大化的对话生成持续学习
计算与语言
2024-03-19 v1
摘要
在数据以连续流形式到达的动态世界中，持续学习使我们能够增量地添加新任务/领域，而无需从头开始重新训练。语言模型持续学习的一个主要挑战是灾难性遗忘，即模型在训练新任务/领域时倾向于忘记先前训练任务/领域的知识。本文研究持续学习设置下的对话生成。我们提出了一种新颖的方法：1) 使用 Text-Mixup 作为数据增强，以避免模型在回放记忆上过拟合；2) 利用批核范数最大化 (BNNM) 来缓解模式崩溃问题。在一个 �领域的面向任务对话数据集和 DailyDialog（一个 领域的闲聊数据集）上的实验表明，我们提出的方法在持续学习方面优于现有技术。
引用
@article{arxiv.2403.10894,
title = {Towards Robustness and Diversity: Continual Learning in Dialog Generation with Text-Mixup and Batch Nuclear-Norm Maximization},
author = {Zihan Wang and Jiayu Xiao and Mengxiang Li and Zhongjiang He and Yongxiang Li and Chao Wang and Shuangyong Song},
journal= {arXiv preprint arXiv:2403.10894},
year = {2024}
}
备注
12 pages, 2 figures