基于频率分解与整合的高效持续学习
计算机视觉与模式识别
2025-03-31 v1
摘要
持续学习(Continual Learning, CL)旨在学习新任务的同时保留已有知识,以应对任务适应过程中的灾难性遗忘问题。基于回放(rehearsal)的方法通过重放历史样本,能有效缓解遗忘。然而,关于提升这些方法效率的研究,尤其是在资源受限环境下,仍然较为有限,制约了其在具有动态数据流的实际系统中的应用。人类感知系统通过互补的频率通道处理视觉场景:低频信号捕捉整体线索,而高频分量传递对细粒度辨别至关重要的结构细节。受此启发,我们提出频率分解与整合网络(FDINet),一种跨频率分解与整合信息的新型框架。FDINet 设计了两个轻量级网络,分别独立处理图像的低频与高频分量。当与基于回放的方法结合时,这种频率感知的设计通过低频信息有效增强跨任务泛化能力,利用高频信息保留类别特有的细节,并凭借其轻量级架构实现高效训练。实验表明,FDINet 将骨干网络参数量减少 78%,准确率较当前最优方法(SOTA)提升最高 7.49%,峰值内存占用降低最高 80%。此外,在边缘设备上,FDINet 将训练速度提升最高 5。
引用
@article{arxiv.2503.22175,
title = {Efficient Continual Learning through Frequency Decomposition and Integration},
author = {Ruiqi Liu and Boyu Diao and Libo Huang and Hangda Liu and Chuanguang Yang and Zhulin An and Yongjun Xu},
journal= {arXiv preprint arXiv:2503.22175},
year = {2025}
}