双重扰动无任务持续学习
机器学习
2024-02-20 v2 计算机视觉与模式识别
摘要
无任务在线持续学习（TF-CL）是一个具有挑战性的问题，模型在没有显式任务信息的情况下增量学习任务。尽管使用过去、现在以及未来的全部数据进行训练被视为黄金标准，但在 TF-CL 中仅使用当前样本的朴素方法可能会与未来样本的学习产生冲突，导致灾难性遗忘和较差的可塑性。因此，在 TF-CL 中主动考虑未见的未来样本变得至关重要。受此直觉启发，我们提出了一个考虑未来样本的新型 TF-CL 框架，并表明在输入数据和决策过程中注入对抗性扰动是有效的。然后，我们提出了一种名为双重扰动持续学习（DPCL）的新方法，以有效地实现这些输入和决策扰动。具体而言，对于输入扰动，我们提出了一种近似扰动方法，将噪声注入输入数据以及特征向量中，然后对两个受扰动样本进行插值。对于决策过程的扰动，我们设计了多个随机分类器。我们还研究了反映我们提出的双重扰动的内存管理方案和学习率调度。我们证明，我们提出的方法在各种 TF-CL 基准上以大幅优势优于最先进的基线方法。
引用
@article{arxiv.2312.13027,
title = {Doubly Perturbed Task Free Continual Learning},
author = {Byung Hyun Lee and Min-hwan Oh and Se Young Chun},
journal= {arXiv preprint arXiv:2312.13027},
year = {2024}
}
备注
Accepted to AAAI 2024 (Oral)