SIESTA：基于睡眠机制的高效在线持续学习
计算机视觉与模式识别
2023-11-03 v3 机器学习
摘要
在监督式持续学习中，深度神经网络（DNN）以不断增长的数据流进行更新。与数据被打乱的离线设定不同，我们无法对数据流做任何分布假设。理想情况下，为计算高效，仅需对数据集遍历一次。然而，现有方法尚不充分，且做出许多现实应用无法成立的假设，同时未能提升计算效率。本文中，我们提出一种新颖的持续学习方法 SIESTA，其基于唤醒/睡眠框架进行训练，与设备端学习的需求高度契合。SIESTA 的主要目标是推进计算高效的持续学习，使 DNN 能以远更少的时间与能耗高效更新。SIESTA 的核心创新为：1）在其唤醒阶段使用无重演、无反向传播且数据驱动的网络更新规则进行快速在线更新；2）在其睡眠阶段使用计算受限的重演策略加速记忆巩固。为内存效率，SIESTA 采用来自 REMIND 的内存索引适配潜在重演。相比 REMIND 与先前方法，SIESTA 计算效率大幅提升，能在单 GPU 上于 2 小时内完成 ImageNet-1K 上的持续学习；此外，在无增强设定下匹配离线学习器性能，这是推动持续学习在现实应用中落地的关键里程碑。
引用
@article{arxiv.2303.10725,
title = {SIESTA: Efficient Online Continual Learning with Sleep},
author = {Md Yousuf Harun and Jhair Gallardo and Tyler L. Hayes and Ronald Kemker and Christopher Kanan},
journal= {arXiv preprint arXiv:2303.10725},
year = {2023}
}
备注
Accepted to TMLR 2023