基于迭代网络剪枝、扩展与掩码的面向任务对话系统持续学习
计算与语言
2021-07-20 v1
摘要
连续学习多个任务而不遗忘如何执行先前训练问题的能力,对于开发在线对话系统至关重要。本文提出一种有效的面向任务对话系统持续学习方法,采用迭代网络剪枝、扩展与掩码(TPEM),其在保持已遇任务性能的同时加速后续任务的学习进程。具体而言,TPEM(i)利用网络剪枝保留旧任务知识,(ii)采用网络扩展为新任务创造自由权重,(iii)引入任务特定网络掩码以减轻旧任务固定权重对新任务的负面影响。我们在来自三个基准数据集的七个不同任务上进行了大量实验,并经验性地表明TPEM相较强劲竞争对手取得了显著改进的结果。为可复现性,我们提交代码与数据于:https://github.com/siat-nlp/TPEM
引用
@article{arxiv.2107.08173,
title = {Continual Learning for Task-oriented Dialogue System with Iterative Network Pruning, Expanding and Masking},
author = {Binzong Geng and Fajie Yuan and Qiancheng Xu and Ying Shen and Ruifeng Xu and Min Yang},
journal= {arXiv preprint arXiv:2107.08173},
year = {2021}
}
备注
Accepted by The Annual Meeting of the Association for Computational Linguistics (ACL), 2021