不忘遗忘的迁移
机器学习
2022-07-26 v2 机器学习
摘要
本研究探讨了持续学习（CL）与迁移学习（TL）之间的纠缠关系。具体而言，我们阐明了网络预训练的广泛应用，强调其本身也会遭受灾难性遗忘。遗憾的是，该问题导致后续任务中知识迁移未被充分利用。在此基础上，我们提出不忘遗忘的迁移（TwF），一种基于固定预训练兄弟网络的混合方法，通过逐层损失项持续传播源域中固有的知识。我们的实验表明，TwF 在各种设置下稳定优于其他 CL 方法，在不同数据集和不同缓冲区大小上平均获得 4.81% 的类增量准确率提升。
引用
@article{arxiv.2206.00388,
title = {Transfer without Forgetting},
author = {Matteo Boschini and Lorenzo Bonicelli and Angelo Porrello and Giovanni Bellitto and Matteo Pennisi and Simone Palazzo and Concetto Spampinato and Simone Calderara},
journal= {arXiv preprint arXiv:2206.00388},
year = {2022}
}
备注
22 pages, 3 Figures. Accepted at 17th European Conference on Computer Vision (ECCV 2022), Tel Aviv, Israel