基于基础模型的持续学习：潜空间回放的实证研究
机器学习
2022-07-05 v2 人工智能
摘要
大规模预训练的快速发展催生了可作为多种下游任务与领域有效特征提取器的基础模型。受此启发，我们研究预训练视觉模型作为下游持续学习（CL）场景基础的有效性。我们的目标有二。其一，欲理解在原始数据空间与预训练编码器潜空间中进行 CL 的计算-精度权衡。其二，考察编码器的特性、预训练算法与数据以及所得潜空间如何影响 CL 性能。为此，我们在大规模基准场景中比较多种预训练模型在潜空间与原始数据空间中应用朴素回放设置的有效性。值得注意的是，本研究表明迁移、遗忘、任务相似性与学习如何依赖于输入数据特性，而不一定依赖于 CL 算法。首先，我们展示在某些情形下，以可忽略计算量借助非参数分类器即可轻易取得合理的 CL 性能。继而展示在更广泛数据上预训练的模型如何在不同回放规模下取得更优性能，并以这些表示的表征相似性与迁移性质予以解释。最后，我们展示相较于预训练域，自监督预训练对分布外下游领域的有效性。我们指出并验证了若干可进一步提升潜空间 CL 效能的研究方向，包括表示集成。本研究使用的多样化数据集可作为计算高效的 CL 进一步研究试验场。代码库见 https://github.com/oleksost/latent_CL。
引用
@article{arxiv.2205.00329,
title = {Continual Learning with Foundation Models: An Empirical Study of Latent Replay},
author = {Oleksiy Ostapenko and Timothee Lesort and Pau Rodríguez and Md Rifat Arefin and Arthur Douillard and Irina Rish and Laurent Charlin},
journal= {arXiv preprint arXiv:2205.00329},
year = {2022}
}