利用二值神经网络实现端上持续学习
机器学习
2024-01-19 v1
摘要
端上学习仍然是一个艰巨的挑战，尤其是在处理计算能力有限的资源受限设备时。这一挑战主要根源于两个关键问题：首先，嵌入式设备上的可用内存通常不足以容纳内存密集型的反向传播算法，该算法通常依赖浮点精度。其次，在具有极端量化水平的模型上开发学习算法至关重要，因为比特表示的大幅减少。在本研究中，我们提出了一种结合持续学习（CL）和二值神经网络领域最新进展的解决方案，以实现端上训练，同时保持有竞争力的性能。具体而言，我们的方法利用二值潜在重放（LR）激活和一种新颖的量化方案，显著减少了梯度计算所需的比特数。实验验证表明，在显著降低内存需求的同时，准确率得到了显著提高，证实了我们的方法在扩展深度学习在现实场景中实际应用的适用性。
引用
@article{arxiv.2401.09916,
title = {Enabling On-device Continual Learning with Binary Neural Networks},
author = {Lorenzo Vorabbi and Davide Maltoni and Guido Borghi and Stefano Santi},
journal= {arXiv preprint arXiv:2401.09916},
year = {2024}
}