变体并行：面向物联网设备分布式推理的轻量深度卷积模型
分布式、并行与集群计算
2023-07-06 v2 计算机视觉与模式识别
摘要
在资源受限的物联网设备上分发模型以满足实时推理限制时，通常使用两种主要技术：（1）模型并行（MP）和（2）类别并行（CP）。在 MP 中，设备间传输庞大的中间数据（比输入大数个数量级）带来了巨大的通信开销。尽管 CP 解决了该问题，但其在子模型数量上存在限制。此外，两种方案均不能容错，在边缘设备上部署时这是一个问题。我们提出变体并行（VP），一种基于集成的深度学习分发方法，其中生成主模型的不同变体并可部署在独立机器上。我们围绕原始模型设计了一系列更轻量的模型，并同时训练它们以超越单一模型的精度。我们在六个常见中型目标识别数据集上的实验结果表明，与 MobileNetV2 相比，我们的模型在原子输入上可少 5.8–7.1 倍参数、4.3–31 倍乘累加（MACs）以及 2.5–13.2 倍响应时间，同时达到相当或更高的精度。我们的技术可轻松生成基础架构的若干变体。每个变体仅返回 2k 个输出（1 <= k <= (#类别/2)），代表 Top-k 类别，而非 MP 所需的大量浮点值。由于每个变体提供全类别预测，在故障存在时，我们的方法相比 MP 和 CP 保持了更高的可用性。
引用
@article{arxiv.2210.08376,
title = {Variant Parallelism: Lightweight Deep Convolutional Models for Distributed Inference on IoT Devices},
author = {Navidreza Asadi and Maziar Goudarzi},
journal= {arXiv preprint arXiv:2210.08376},
year = {2023}
}
备注
8 pages, 6 figures, 7 tables