沿任务切向量场进行的积分式持续学习
机器学习
2023-12-13 v3
摘要
我们提出了一种轻量级持续学习方法，通过沿“通才”模型的向量场进行积分，逐步融入来自专用数据集的信息。专家模型处的切平面充当通才引导，避免导致灾难性遗忘的过拟合，同时利用切平面内优化景观的凸性。该方法维持一个小的固定大小记忆缓冲，可低至源数据集的0.4%，并通过简单重采样更新。我们的方法在不同数据集的各种缓冲大小下均取得强劲性能。具体而言，在类增量设定下，对于Seq-CIFAR-10和Seq-TinyImageNet，我们分别以平均18.77%和28.48%的优势超越现有无需蒸馏的方法。我们的方法可轻易与现有的基于回放的持续学习方法结合使用。当放宽记忆缓冲约束以允许存储如logits等元数据时，我们在Seq-CIFAR-10上相对于理想性能实现了17.84%的误差降低。
引用
@article{arxiv.2211.13108,
title = {Integral Continual Learning Along the Tangent Vector Field of Tasks},
author = {Tian Yu Liu and Aditya Golatkar and Stefano Soatto and Alessandro Achille},
journal= {arXiv preprint arXiv:2211.13108},
year = {2023}
}