用于持续对话学习的层次化归纳迁移

预训练模型在对话任务上已取得优异性能。然而，针对在线闲聊场景的持续增加，直接为每个新任务微调这些模型不仅会使对话系统在嵌入式设备上的容量爆炸，还会导致预训练模型的知识遗忘以及不同对话任务间的知识干扰。本工作中，我们提出一种层次化归纳迁移框架，以持续且高效地学习和部署对话技能。首先，我们将适配器模块引入预训练模型以学习新对话任务。作为唯一可训练模块，它有利于嵌入式设备上的对话系统以可忽略的额外参数获取新对话技能。进而，为缓解任务间知识干扰同时受益于任务间正则化，我们进一步设计层次化归纳迁移，使新任务能够使用基础适配器中的通用知识，而不被特定任务适配器中的多样知识所误导。实证评估与分析表明，我们的框架在部署友好的模型容量下获得了可比的性能。