从算法到硬件：深度神经网络高效安全部署综述
机器学习
2024-05-13 v1 人工智能
摘要
深度神经网络（DNNs）已在许多人工智能（AI）任务中广泛使用。然而，由于巨大的内存、能源和计算成本，部署它们带来了显著的挑战。为解决这些挑战，研究人员开发了各种模型压缩技术，如模型量化和模型修剪。最近，越来越多的研究旨在通过保留性能来实现模型效率的压缩方法。此外，越来越多的工作致力于定制 DNN 硬件加速器以更好地利用模型压缩技术。在效率方面，保护安全性和隐私对于部署 DNNs 至关重要。然而，广泛且多样化的相关工作令人眼花缭乱。这促使我们对最新研究进行全面调查，以实现 DNN 的高性能、成本效益和安全部署。我们的调查首先涵盖了主流的模型压缩技术，如模型量化、模型修剪、知识蒸馏和非线性操作的优化。我们然后介绍了最近在设计能够适应高效模型压缩方法的硬件加速器的最新进展。此外，我们讨论了如何将同态加密集成以secure DNN 部署。最后，我们讨论了诸如硬件评估、泛化和各种压缩方法的集成等问题。总体而言，我们旨在提供一个从算法到硬件加速器和安全性角度的高效 DNN 的全貌。
引用
@article{arxiv.2405.06038,
title = {From Algorithm to Hardware: A Survey on Efficient and Safe Deployment of Deep Neural Networks},
author = {Xue Geng and Zhe Wang and Chunyun Chen and Qing Xu and Kaixin Xu and Chao Jin and Manas Gupta and Xulei Yang and Zhenghua Chen and Mohamed M. Sabry Aly and Jie Lin and Min Wu and Xiaoli Li},
journal= {arXiv preprint arXiv:2405.06038},
year = {2024}
}
备注
This manuscript is the accepted version for TNNLS(IEEE Transactions on Neural Networks and Learning Systems)