迈向扩展 DER 宇宙的类增量持续学习
机器学习
2022-09-20 v2 机器学习
摘要
人类智能的根本在于以连续方式获取知识的能力。截然相反，深度网络会灾难性地遗忘，因此类增量持续学习这一子领域致力于促进以增量方式学习一系列任务、将顺序获得的知识融合为综合预测的方法。本工作旨在评估并克服我们先前提案暗经验回放（DER）——一种结合排练与知识蒸馏的简单有效方法——的缺陷。受我们心智不断重写过去记忆并为未来设定期望的方式启发，我们赋予模型以下能力：i）修订其回放记忆以接纳关于过去数据的新信息；ii）为学习尚未见过的类铺平道路。我们展示了这些策略的应用带来了显著改进；事实上，所得方法——称为扩展 DER（X-DER）——在标准基准（如 CIFAR-100 和 miniImagenet）以及此处引入的新基准上均优于最先进水平。为更好地理解，我们进一步提供了广泛的消融研究，证实并扩展了先前研究的发现（例如持续学习设置中知识蒸馏的价值与更平坦极小值）。
引用
@article{arxiv.2201.00766,
title = {Class-Incremental Continual Learning into the eXtended DER-verse},
author = {Matteo Boschini and Lorenzo Bonicelli and Pietro Buzzega and Angelo Porrello and Simone Calderara},
journal= {arXiv preprint arXiv:2201.00766},
year = {2022}
}
备注
23 pages, 22 figures. To appear in IEEE TPAMI