边缘网络中早期退出与模型分布式推理

分布式推理技术可广泛分为数据分布式和模型分布式方案。在数据分布式推理（DDI）中，每个工作节点携带完整的深度神经网络（DNN）模型，但仅处理数据的子集。然而，向工作节点输入数据会导致高通信成本，尤其当数据规模较大时。一种新兴范式是模型分布式推理（MDI），即每个工作节点仅携带DNN层的子集。在MDI中，具有数据的源设备处理DNN的少数层，然后将输出发送到相邻设备（即卸载剩余层）。该过程持续进行，直至所有层以分布式方式被处理。本文研究了结合早期退出的MDI设计与开发，即对于某些数据无需处理完整模型即可达到目标准确率，即在达到目标准确率后即可在不处理所有层的情况下退出模型。我们设计了框架MDI-Exit，用于自适应确定早期退出和卸载策略以及数据 admission at the source。在NVIDIA Nano边缘设备的实际测试平台上进行实验结果表明，MDI-Exit在固定准确率时处理更多数据，固定数据率下准确率更高。