基于二值神经网络的设备端学习
机器学习
2023-08-30 v1 人工智能
摘要
现有的持续学习（CL）方案仅部分解决了深度学习方法部署于低功耗嵌入式 CPU 时在功耗、内存与计算方面的约束。本文中，我们提出了一种 CL 方案，其结合了 CL 领域的最新进展与二值神经网络（BNN）的高效性，后者使用 1 比特表示权重与激活以高效执行深度学习模型。我们提出了 CWR*（一种有效的 CL 方法）的混合量化，其对前向与反向传播区别对待，以在梯度更新步骤中保留更高精度，同时将延迟开销降至最低。选择二值网络作为骨干网络对于满足低功耗设备的约束至关重要，且据作者所知，这是首次证明基于 BNN 的设备端学习。所进行的实验验证确认了所提方法的有效性与适用性。
引用
@article{arxiv.2308.15308,
title = {On-Device Learning with Binary Neural Networks},
author = {Lorenzo Vorabbi and Davide Maltoni and Stefano Santi},
journal= {arXiv preprint arXiv:2308.15308},
year = {2023}
}