面向云与设备的低传输开销且鲁棒的 CNN 模型
分布式、并行与集群计算
2022-12-14 v2
摘要
在普适物联网（IoT）设备上部署深度卷积神经网络（CNN）模型因提供各种快速响应服务极大便利生活而受到工业界与学术界广泛关注。由于 IoT 设备资源有限，云辅助训练 CNN 模型已成为主流。然而，现有相关工作大多存在模型参数传输量大和模型鲁棒性弱的缺陷。为此，本文提出一种具有低模型参数传输和强模型鲁棒性的云辅助 CNN 训练框架。在所提框架中，我们首先引入 MonoCNN，其仅包含少量可学习滤波器，其余滤波器不可学习。这些不可学习滤波器参数依据特定规则即滤波器生成函数（FGF）生成，并可由少量随机种子保存与复现。因此，云服务器只需向 IoT 设备发送这些可学习滤波器与少量种子。与传输全部模型参数相比，发送若干可学习滤波器参数与种子可显著减少参数传输。接着，我们研究多种 FGF 并让 IoT 设备使用 FGF 生成多个滤波器并组合为 MonoCNN。因此，MonoCNN 不仅受训练数据影响，也受 FGF 影响。FGF 的规则起到正则化 MonoCNN 的作用，从而提升其鲁棒性。实验结果表明，与 SOTA 方法相比，我们所提框架在处理损坏数据时可大幅减少云服务器与 IoT 设备间的模型参数传输，同时将性能提升约 2.2%。代码可在 https://github.com/evoxlos/mono-cnn-pytorch 获取。
引用
@article{arxiv.2207.09616,
title = {Towards Transmission-Friendly and Robust CNN Models over Cloud and Device},
author = {Chuntao Ding and Zhichao Lu and Felix Juefei-Xu and Vishnu Naresh Boddeti and Yidong Li and Jiannong Cao},
journal= {arXiv preprint arXiv:2207.09616},
year = {2022}
}
备注
IEEE Transactions on Mobile Computing