ImpressLearn：通过组合任务印记实现持续学习
计算机视觉与模式识别
2023-02-02 v2 机器学习
摘要
本工作提出一种新方法，用于在多个任务上顺序训练深度神经网络而不遭受灾难性遗忘，同时赋予其快速适应未见任务的能力。从已有的网络掩码工作（Wortsman等人，2020）出发，我们表明：在随机初始化的骨干网络上，简单地学习少量任务特定超掩码（印记）的线性组合，就足以保留已学任务的精度，并在未见任务上达到高准确率。与先前方法不同，我们无需为每个新任务生成专用掩码或上下文，而是利用迁移学习来保持每任务的参数开销较小。我们的工作展示了线性组合单个印记（每个单独表现不佳）的力量，可达到与专用掩码相当的性能。此外，即便来自同一任务的重复印记（同质掩码），当组合时若使用足够多的印记，也能接近异质组合的性能。我们的方法比现有方法扩展更高效，通常所需参数少几个数量级，且即使任务身份缺失也能无需修改地运行。另外，在推断时不给定任务标签的设置下，我们的算法为Wortsman等人2020所用的一次性过程提供了通常更优的替代方案。我们在多个知名图像分类数据集和网络架构上评估了该方法。
引用
@article{arxiv.2210.01987,
title = {ImpressLearn: Continual Learning via Combined Task Impressions},
author = {Dhrupad Bhardwaj and Julia Kempe and Artem Vysogorets and Angela M. Teng and Evaristus C. Ezekwem},
journal= {arXiv preprint arXiv:2210.01987},
year = {2023}
}