F-OAL：类增量学习中具有快速训练和低内存占用的前向在线分析学习
计算机视觉与模式识别
2024-11-05 v2
摘要
在线类增量学习（OCIL）旨在增量训练模型，其中数据以小批量到达，且之前的数据不可访问。OCIL的一个主要挑战是灾难性遗忘，即先前学习知识的丢失。在现有基线中，基于重放的方法显示出有竞争力的结果，但需要额外的内存来存储样本，而无样本（即生产中无需存储样本用于重放）的方法资源友好但通常缺乏准确性。在本文中，我们提出了一种无样本方法——前向在线分析学习（F-OAL）。与传统方法不同，F-OAL不依赖反向传播，且仅前向，显著减少了内存使用和计算时间。与具有特征融合的预训练冻结编码器配合，F-OAL仅需通过递归最小二乘法更新线性分类器。这种方法同时实现了高准确率和低资源消耗。在基准数据集上的大量实验证明了F-OAL在OCIL场景中的稳健性能。代码可在https://github.com/liuyuchen-cz/F-OAL获取。
引用
@article{arxiv.2403.15751,
title = {F-OAL: Forward-only Online Analytic Learning with Fast Training and Low Memory Footprint in Class Incremental Learning},
author = {Huiping Zhuang and Yuchen Liu and Run He and Kai Tong and Ziqian Zeng and Cen Chen and Yi Wang and Lap-Pui Chau},
journal= {arXiv preprint arXiv:2403.15751},
year = {2024}
}