提示条件化VAE：增强面向任务对话中终身学习的生成回放
计算与语言
2022-11-28 v2 人工智能
机器学习
摘要
终身学习（LL）对先进的面向任务对话（ToD）系统至关重要。为解决LL的灾难性遗忘问题，生成回放方法被广泛用于通过生成的伪样本巩固过往知识。然而，现有大多数生成回放方法仅使用单一任务特定令牌来控制其模型。由于涉及信息不足，该方案通常不足以约束生成模型。本文提出一种新方法——用于终身学习的提示条件化变分自编码器（PCLL），通过引入任务统计信息来增强生成回放。PCLL利用以自然语言提示为条件来引导伪样本生成的条件变分自编码器捕捉任务特定分布。此外，它借助蒸馏过程，通过缓解伪样本中的噪声来进一步巩固过往知识。在ToD系统自然语言理解任务上的实验表明，PCLL在构建LL模型方面显著优于具有竞争力的基线。
引用
@article{arxiv.2210.07783,
title = {Prompt Conditioned VAE: Enhancing Generative Replay for Lifelong Learning in Task-Oriented Dialogue},
author = {Yingxiu Zhao and Yinhe Zheng and Zhiliang Tian and Chang Gao and Bowen Yu and Haiyang Yu and Yongbin Li and Jian Sun and Nevin L. Zhang},
journal= {arXiv preprint arXiv:2210.07783},
year = {2022}
}
备注
EMNLP2022 Long Paper (Main Track)