混合相似与不相似任务序列的持续学习
机器学习
2021-12-21 v1 人工智能
计算机视觉与模式识别
神经与进化计算
摘要
现有关于任务序列持续学习的研究集中于处理灾难性遗忘，其中任务被假定为不相似且几乎没有共享知识。当任务相似且具有共享知识时，也有一些工作用于将先前学习的知识迁移到新任务。据我们所知，尚未有技术被提出来学习混合相似与不相似任务的序列，既能处理遗忘又能向前和向后迁移知识。本文提出这样一种技术，在同一网络中学习两类任务。对于不相似任务，算法侧重于处理遗忘；对于相似任务，算法侧重于选择性地将某些相似先前任务中学到的知识迁移以改进新任务的学习。此外，算法自动检测新任务是否与任何先前任务相似。使用混合任务序列的实证评估证明了所提模型的有效性。
引用
@article{arxiv.2112.10017,
title = {Continual Learning of a Mixed Sequence of Similar and Dissimilar Tasks},
author = {Zixuan Ke and Bing Liu and Xingchang Huang},
journal= {arXiv preprint arXiv:2112.10017},
year = {2021}
}