任务无关表示巩固：一种基于自监督的持续学习方法
机器学习
2022-07-14 v1 人工智能
计算机视觉与模式识别
摘要
深度神经网络(DNNs)在非平稳数据流上的持续学习(CL)仍然是一个长期存在的挑战，因为它们容易出现灾难性遗忘。CL模型可以从自监督预训练中受益，因为它能够学习更具泛化性的任务无关特征。然而，随着任务序列长度的增加，自监督预训练的效果会减弱。此外，预训练数据分布与任务分布之间的领域偏移降低了所学表示的泛化能力。为了解决这些局限，我们提出了任务无关表示巩固(TARC)，一种用于CL的两阶段训练范式，该范式将任务无关与任务特定学习交织在一起，即先自监督训练，再对每个任务进行有监督学习。为了进一步限制有监督阶段偏离自监督阶段所学表示，我们在有监督阶段采用了一个任务无关的辅助损失。我们表明，我们的训练范式可以轻松添加到基于记忆或基于正则化的方法中，并在更具挑战性的CL设定下提供一致的性能提升。我们进一步表明，它带来了更鲁棒且校准良好的模型。
引用
@article{arxiv.2207.06267,
title = {Task Agnostic Representation Consolidation: a Self-supervised based Continual Learning Approach},
author = {Prashant Bhat and Bahram Zonooz and Elahe Arani},
journal= {arXiv preprint arXiv:2207.06267},
year = {2022}
}
备注
Accepted at Conference on Lifelong Learning Agents (CoLLAs 2022)