LightCL：面向边缘设备的低内存 footprint 持续学习方法
机器学习
2025-03-11 v3 人工智能
计算机视觉与模式识别
摘要
持续学习（Continual Learning, CL）是一种使神经网络能够持续适应动态环境的技术。尽管长期以来被忽视，这种技术可以显著满足边缘设备用户的定制化需求。实际上，大多数持续学习方法都需要通过训练行为来获取所有任务的通用性，以延缓遗忘，这不考虑边缘场景。因此，本文提出了一种名为 LightCL 的紧凑算法，通过评估和压缩神经网络结构中已具备通用性组件的冗余性。具体而言，我们考虑通用性的两个因素——学习塑性和记忆稳定性，并设计度量标准以定量评估神经网络在持续学习期间的通用性。该评估表明，神经网络不同层的通用性存在显著差异。因此，我们通过冻结通用组件（无需资源密集型训练过程）来维持通用性，通过稳定前序任务的特征提取来记忆特征模式，以增强对非通用组件的通用性，所需额外内存远小于通过冻结所节省的内存。实验表明，LightCL 在其他最先进方法上 outperform，且最多将内存 footprint 降低了 **6.16×**。我们还在边缘设备上验证了 LightCL 的有效性。
引用
@article{arxiv.2407.10545,
title = {LightCL: Compact Continual Learning with Low Memory Footprint For Edge Device},
author = {Zeqing Wang and Fei Cheng and Kangye Ji and Bohu Huang},
journal= {arXiv preprint arXiv:2407.10545},
year = {2025}
}
备注
Published in ASPDAC'25