ResiliNet：分布式神经网络中的故障弹性推理
机器学习
2020-12-22 v4 机器学习
摘要
联邦学习旨在训练分布式深度模型而不与中心服务器共享原始数据。类似地，在神经网络的分布式推理中，通过将网络划分并分布到多个物理节点上，在物理节点之间交换激活值和梯度，而非原始数据。然而，当神经网络被划分并分布到物理节点上时，物理节点的故障会导致位于这些节点上的神经单元失效，从而造成显著的性能下降。当前的方法聚焦于分布式神经网络训练中的弹性，但分布式神经网络推理的弹性较少被探索。我们提出ResiliNet，一种使分布式神经网络推理对物理节点故障具有弹性的方案。ResiliNet结合了两个概念以提供弹性：跳过超连接（一种在分布式神经网络中跳过节点的概念，类似于resnets中的跳过连接）以及本文提出的称为failout的新技术。Failout利用dropout在训练期间模拟物理节点故障条件，并专门设计用于提升分布式神经网络的弹性。使用三个数据集的实验和消融研究结果证实了ResiliNet为分布式神经网络提供推理弹性的能力。
引用
@article{arxiv.2002.07386,
title = {ResiliNet: Failure-Resilient Inference in Distributed Neural Networks},
author = {Ashkan Yousefpour and Brian Q. Nguyen and Siddartha Devic and Guanhua Wang and Aboudy Kreidieh and Hans Lobel and Alexandre M. Bayen and Jason P. Jue},
journal= {arXiv preprint arXiv:2002.07386},
year = {2020}
}
备注
Accepted in FL-ICML 2020 (International Workshop on Federated Learning for User Privacy and Data Confidentiality in Conjunction with ICML 2020). Added FAQ to the end of the paper