CLR：用于持续学习的通道级轻量重编程
计算机视觉与模式识别
2023-07-24 v1
摘要
持续学习旨在模拟人类在顺序任务中持续积累知识的能力。主要挑战是在学习新任务后保持对先前所学任务的性能，即避免灾难性遗忘。我们提出一种通道级轻量重编程（CLR）方法，帮助卷积神经网络（CNNs）在持续学习中克服灾难性遗忘。我们展示，在旧任务（或自监督代理任务）上训练的 CNN 模型可通过我们提出的轻量（极廉价）重编程参数被“重编程”以解决新任务。在 CLR 的帮助下，我们获得了更好的稳定性—可塑性权衡来解决持续学习问题：为保持稳定性并保留先前任务能力，我们使用一个通用的任务无关不可变部分作为共享“锚”参数集。然后我们添加任务特定的轻量重编程参数来重新解释不可变部分的输出，以实现可塑性并整合新知识。为学习顺序任务，我们仅训练轻量重编程参数来学习每个新任务。重编程参数是任务特定的且各任务独占，这使我们的方法免受灾难性遗忘影响。为最小化学习新任务所需重编程的参数，我们通过仅调整必要核并学习从锚参数到任务特定领域知识的通道级线性映射，使重编程轻量化。我们展示，对于一般 CNNs，任何新任务的 CLR 参数增量小于 0.6%。我们的方法在 53 个图像分类数据集的新具挑战性序列上优于 13 个最先进持续学习基线。代码与数据见 https://github.com/gyhandy/Channel-wise-Lightweight-Reprogramming
引用
@article{arxiv.2307.11386,
title = {CLR: Channel-wise Lightweight Reprogramming for Continual Learning},
author = {Yunhao Ge and Yuecheng Li and Shuo Ni and Jiaping Zhao and Ming-Hsuan Yang and Laurent Itti},
journal= {arXiv preprint arXiv:2307.11386},
year = {2023}
}
备注
ICCV 2023