频域下的持续学习

持续学习 (CL) 旨在学习新任务的同时保持已有知识。复述早期任务的样本已被证明是缓解先前学习知识遗忘的有效方法。然而，当前研究对基于复述的方法的训练效率仍不足，这限制了 CL 系统在资源受限场景中的实际应用。人类视觉系统 (HVS) 对不同频率分量的灵敏度各异，使得能够有效消除视觉上冗余信息成为可能。受 HVS 启发，我们提出了一种新框架，称为频域下的持续学习 (CLFD)。据我们了解，这是首个利用频域特征来提高 CL 训练在边缘设备上的性能和效率的研究。对于特征提取器的输入特征，CLFD 采用小波变换将原始输入图像映射到频域，从而有效减小输入特征图的大小。对于特征提取器的输出特征，CLFD 根据不同任务中各类别的频域相似性有选择地利用输出特征进行分类，从而在可重用性和干扰性之间进行平衡。仅优化特征提取器的输入和输出特征，使得 CLFD 可以无缝集成到各种基于复述的方法中。在云端和边缘环境中进行的大量实验表明，CLFD 在精度和训练效率方面均一致地提高了最新方法 (SOTA) 的性能。具体而言，CLFD 可使 SOTA CL 方法的准确率提高最高可达 6.83%，训练时间缩短 2.6 倍。