BottleNet++：一种用于设备 - 边缘协同推理系统的端到端特征压缩方法

各类智能移动应用的出现要求在资源受限的移动设备上部署强大的深度学习模型。设备 - 边缘协同推理框架通过将神经网络分割在移动设备和边缘计算服务器之间，提供了一种有前景的解决方案。为了平衡设备端计算与通信开销，需要仔细选择分割点，同时在传输前需对中间特征进行压缩。现有研究将模型分割、特征压缩和通信的设计解耦，这可能导致移动设备消耗过多的资源。在本文中，我们引入了一种名为 BottleNet++ 的端到端架构，该架构由编码器、不可训练的通道层和解码器组成，以实现更高效的特征压缩与传输。编码器和解码器本质上通过卷积神经网络 (CNNs) 实现了联合信源信道编码，并明确考虑了信道噪声的影响。通过利用深度神经网络 (DNN) 中中间特征的强稀疏性和容错特性，BottleNet++ 实现了比现有方法高得多的压缩比。此外，通过将信道条件作为输入提供给编码器，我们的方法在不同的信道条件下具有很强的泛化能力。与仅传输未经特征压缩的中间数据相比，BottleNet++ 在加性高斯白噪声信道上实现了高达 64 倍的带宽缩减，在二进制擦除信道上实现了高达 256 倍的比特压缩比，而准确率下降不到 2%。凭借更高的压缩比，BottleNet++ 能够在更早的层分割 DNN，从而与其他压缩方法相比，将设备端计算量减少高达 3 倍。