基于边缘集成的去中心化低延迟协同推理
机器学习
2022-06-08 v1 分布式、并行与集群计算
信号处理
摘要
深度神经网络(DNNs)的成功严重依赖于计算资源。虽然DNNs常用于云服务器，但在边缘设备上运行DNNs的需求日益增长。边缘设备的计算资源通常有限，然而同一环境中常部署多个边缘设备且可相互可靠通信。在这项工作中，我们提出通过允许多个用户在推理过程中协作以提高精度，从而促进DNNs在边缘上的应用。我们提出的机制称为{\em 边缘集成}(edge ensembles)，其基于在每个设备上具有多样化的预测器，这些预测器在推理时形成模型集成。为减轻通信开销，用户共享量化特征，我们提出了一种将多个决策聚合为单一推理规则的方法。我们分析了边缘集成引起的延迟，表明在通信网络的常见假设下，其性能提升是以微小的额外延迟为代价换来的。我们的实验表明，配备紧凑DNNs的边缘集成通过协同推理显著提高了相较各用户本地推理的精度，并且可以优于使用比集成中所有网络加起来更大的单一集中式DNN。
引用
@article{arxiv.2206.03165,
title = {Decentralized Low-Latency Collaborative Inference via Ensembles on the Edge},
author = {May Malka and Erez Farhan and Hai Morgenstern and Nir Shlezinger},
journal= {arXiv preprint arXiv:2206.03165},
year = {2022}
}