RBNN：面向物联网的具 IP 保护的内存高效可重构深度二值神经网络
密码学与安全
2022-08-04 v3 机器学习
摘要
尽管深度神经网络模型在各种应用中表现出色，但其庞大的模型规模与大量的浮点运算使得在移动计算平台尤其是物联网设备上部署成为一大挑战。一种有吸引力的解决方案是模型量化，其缩减模型规模并使用微控制器通常支持的整数运算。为此，1-bit 量化的 DNN 模型或深度二值神经网络最大化了内存效率，其中 BNN 模型中的每个参数仅有 1-bit。本文中，我们提出可重构 BNN（RBNN）以进一步为资源受限的 IoT 设备放大内存效率。一般而言，RBNN 可按需重构以实现同一参数集下的 M（M>1）个不同任务中的任意一个，从而仅单一任务决定内存需求。换言之，内存利用率提升了 M 倍。我们的大量实验证实多达七个常用任务可共存（M 值可更大）。这些具有不同类别数的任务在包括 VGG、ResNet 和 ReActNet 在内的三种二值化流行 DNN 架构上无精度下降或下降可忽略。这些任务跨越不同领域，例如本文验证的计算机视觉与音频领域，其前提是模型架构能服务于那些跨域任务。为保护 RBNN 模型的知识产权，重构可由用户密钥与由内在硬件指纹生成的设备唯一根密钥共同控制。如此，RBNN 模型仅可按付费用户于授权设备使用，从而惠及用户与模型提供方。
引用
@article{arxiv.2105.03822,
title = {RBNN: Memory-Efficient Reconfigurable Deep Binary Neural Network with IP Protection for Internet of Things},
author = {Huming Qiu and Hua Ma and Zhi Zhang and Yifeng Zheng and Anmin Fu and Pan Zhou and Yansong Gao and Derek Abbott and Said F. Al-Sarawi},
journal= {arXiv preprint arXiv:2105.03822},
year = {2022}
}