基于Dirichlet生成式重演的持续学习
计算与语言
2023-09-14 v1 人工智能
机器学习
摘要
数据驱动的任务型对话系统（ToDs）近期进展受限于计算约束与耗时问题，难以进行增量学习。持续学习（CL）试图通过避免密集预训练来解决此问题，但其面临灾难性遗忘（CF）问题。尽管基于生成式重演的 CL 方法已取得显著进展，生成准确反映底层任务特定分布的伪样本仍具挑战。本文提出 Dirichlet 持续学习（DCL），一种新颖的基于生成式重演的 CL 策略。与条件变分自编码器（CVAE）中传统使用的高斯潜变量不同，DCL 利用 Dirichlet 分布的灵活性与多用性来建模潜先验变量。这使其能高效捕捉先前任务的句子级特征，并有效引导伪样本的生成。此外，我们引入 Jensen-Shannon 知识蒸馏（JSKD），一种鲁棒的基于 logit 的知识蒸馏方法，可在伪样本生成过程中增强知识迁移。我们的实验证实了该方法在意图检测与槽填充任务中的有效性，优于最先进的方法。
引用
@article{arxiv.2309.06917,
title = {Continual Learning with Dirichlet Generative-based Rehearsal},
author = {Min Zeng and Wei Xue and Qifeng Liu and Yike Guo},
journal= {arXiv preprint arXiv:2309.06917},
year = {2023}
}