基于在线差异距离学习的无任务持续学习
计算机视觉与模式识别
2022-10-14 v1 机器学习
摘要
从非平稳数据流中学习，也称为无任务持续学习（TFCL），由于缺少显式的任务信息而仍然具有挑战性。尽管近期已提出一些用于 TFCL 的方法，它们缺乏理论保证。此外，TFCL 过程中的遗忘分析此前未被从理论上研究。本文开发了一个新的理论分析框架，基于已访问样本与用于训练模型的全部可用信息之间的差异距离（discrepancy distance）给出泛化界。该分析为分类任务中的遗忘行为提供了新见解。受此理论模型启发，我们提出了一种由混合模型的动态组件扩展机制实现的新方法，即在线差异距离学习（ODDL）。ODDL 估计当前记忆缓冲区的概略表示与已积累知识之间的差异，并将其用作扩展信号，以确保紧凑的网络架构和最优性能。然后我们提出了一种新的样本选择方法，通过基于差异的度量有选择地将最相关的样本存入记忆缓冲区，进一步提升了性能。我们使用所提方法进行了若干 TFCL 实验，表明该方法达到了 state of the art 性能。
引用
@article{arxiv.2210.06579,
title = {Task-Free Continual Learning via Online Discrepancy Distance Learning},
author = {Fei Ye and Adrian G. Bors},
journal= {arXiv preprint arXiv:2210.06579},
year = {2022}
}
备注
Accepted at the 36th Conference on Neural Information Processing Systems (NeurIPS 2022)