面向终身学习的多域多任务重演
机器学习
2020-12-15 v1 人工智能
计算机视觉与模式识别
摘要
重演通过在学习型生命周期中存储旧知识来提醒模型,是缓解灾难性遗忘(即在转向新任务时对有先前知识的偏向性遗忘)最有效的方式之一。然而,以往大多数基于重演的方法中的旧任务在训练新任务时遭受不可预测的域偏移。这是因为这些方法总是忽略两个重要因素。第一,新任务与旧任务之间的数据不平衡使得旧任务的域容易发生偏移。第二,所有任务之间的任务隔离将使域偏移朝向不可预测的方向;为解决不可预测的域偏移,本文提出多域多任务(MDMT)重演,将旧任务与新任务并行且平等地训练以打破任务间的隔离。具体而言,提出一种两级角间隔损失以鼓励类内/任务内紧致性和类间/任务间差异性,使模型避免域混乱。此外,为进一步解决旧任务的域偏移,我们在记忆上提出一种可选的情景蒸馏损失以锚定每个旧任务的知识。在基准数据集上的实验验证了所提方法能有效缓解不可预测的域偏移。
引用
@article{arxiv.2012.07236,
title = {Multi-Domain Multi-Task Rehearsal for Lifelong Learning},
author = {Fan Lyu and Shuai Wang and Wei Feng and Zihan Ye and Fuyuan Hu and Song Wang},
journal= {arXiv preprint arXiv:2012.07236},
year = {2020}
}
备注
Accepted by AAAI 2021