用于高效流学习的调谐组合特征重放
摘要
我们的大脑从对世界稍纵即逝的体验中提取持久、可泛化的知识。人工神经网络远未达到此种能力。当被要求在时间顺序上通过训练非重复视频帧来学习对物体分类（在线流学习）时，那些从打乱数据集学得很好的模型在习得新刺激时会灾难性地遗忘旧知识。我们提出一种新的持续学习算法，即使用记忆块的组合重放 (CRUMB)，它通过重放由组合通用部件重建的特征图来缓解遗忘。CRUMB 将可训练且可复用的“记忆块”向量拼接起来，以组合方式重建卷积神经网络中的特征图张量。存储用于重建新刺激的记忆块索引，使得关于该刺激的记忆能在后续任务中被重放。该重建机制还使神经网络偏向于关注物体形状信息多于图像纹理信息，从而使其优先缓解灾难性遗忘，并通过为所有训练样本提供共享的特征级基来稳定网络于流学习期间。这些性质使 CRUMB 优于一个其他完全相同但存储并重放原始图像的算法，同时仅占其 3.6% 的内存。我们在 7 个具挑战性数据集上将 CRUMB 与 13 种竞争方法进行了压力测试。为解决现有在线流学习数据集数量有限的问题，我们通过改造现有数据集用于流学习而引入了 2 个新基准。仅用 3.7-4.1% 的内存与 15-43% 的运行时间，CRUMB 比 state-of-the-art 更有效地缓解了灾难性遗忘。我们的代码见 https://github.com/MorganBDT/crumb.git。
引用
@article{arxiv.2104.02206,
title = {Tuned Compositional Feature Replays for Efficient Stream Learning},
author = {Morgan B. Talbot and Rushikesh Zawar and Rohil Badkundri and Mengmi Zhang and Gabriel Kreiman},
journal= {arXiv preprint arXiv:2104.02206},
year = {2024}
}
备注
Copyright 2023 IEEE. The journal version of this article is hosted at https://ieeexplore.ieee.org/document/10373937 and https://klab.tch.harvard.edu/publications/PDFs/gk8019.pdf