通过预定义稀疏性增强分部计算与早期退出应用
机器学习
2024-07-17 v1 计算机视觉与模式识别
分布式、并行与集群计算
摘要
过去十年，深度神经网络（DNN）在从对象分类、动作识别到智能建筑和医疗保健的广泛问题上取得了最前沿的性能。使DNN如此广泛的灵活性带来了一个代价：计算需求使其无法在当前大多数资源受限的边缘设备上部署，以解决实时和现实世界的任务。本文提出了一种新方法，通过将预定义稀疏性概念与分部计算（SC）和早期退出（EE）相结合来解决这一挑战。具体而言，分部计算旨在将DNN的一部分部署在边缘设备上，其余部分部署在远程服务器上。而早期退出允许系统在答案已经足够好时，仅依赖边缘设备的计算即可停止使用远程服务器。具体来说，如何将预定义稀疏性应用于分部计算和早期退出范式从未被研究过。本文研究了这一问题，表明无论硬件平台如何，预定义稀疏性显著减少了训练和推理阶段的计算、存储和能源负担。这使其成为增强分部计算和早期退出应用性能的有价值方法。实验结果展示，在不损害性能的前提下，存储和计算复杂度的降低超过4倍。源代码可在 https://github.com/intelligolabs/sparsity_sc_ee 获取。
引用
@article{arxiv.2407.11763,
title = {Enhancing Split Computing and Early Exit Applications through Predefined Sparsity},
author = {Luigi Capogrosso and Enrico Fraccaroli and Giulio Petrozziello and Francesco Setti and Samarjit Chakraborty and Franco Fummi and Marco Cristani},
journal= {arXiv preprint arXiv:2407.11763},
year = {2024}
}
备注
Accepted at the 27th Forum on specification and Design Languages (FDL 2024)