面向全二值网络类别增量学习的经验回放探索
机器学习
2025-03-11 v1 计算机视觉与模式识别
摘要
二值神经网络是一种有前景的方法，能够使人工神经网络在超低功耗边缘设备上实现。此类设备可能在高度动态的环境中计算数据，其中推理目标类别可能发生演变甚至出现新类别，这需要持续学习。类别增量学习是分类问题中持续学习的一种常见类型，但在BNNs背景下鲜有探讨。此外，现有的多数BNNs模型并非完全二值，因为它们在输入层、输出层以及批归一化中需要若干实值网络层。本文更进一步，通过四项主要贡献在全二值神经网络中实现类别增量学习。首先，我们重新审视了适用于CIL的FBNN设计及其训练过程。其次，我们探索了损失平衡，这是一种权衡过去和当前类别性能的方法。第三，我们提出了一种半监督方法来预训练FBNN的特征提取器，以获得可迁移的表示。第四，对两种传统的CIL方法，即Latent Replay和Native Replay进行了深入比较。这些贡献首先在CIFAR100数据集上得到验证，随后被扩展以应对CORE50持续学习基准。基于我们在CORE50上的3Mb FBNN的最终结果表现出与传统实值较大神经网络模型相当甚至更好的性能。
引用
@article{arxiv.2503.07107,
title = {Towards Experience Replay for Class-Incremental Learning in Fully-Binary Networks},
author = {Yanis Basso-Bert and Anca Molnos and Romain Lemaire and William Guicquero and Antoine Dupret},
journal= {arXiv preprint arXiv:2503.07107},
year = {2025}
}