面向边缘端深度神经网络的更新压缩

越来越多的人工智能（AI）应用涉及在边缘设备上执行深度神经网络（DNNs）。诸多实际原因催生了在部署后更新边缘设备上 DNN 模型的需求，例如模型精调、概念漂移或学习任务的彻底改变。在本文中，我们考虑这样一种场景：可基于 DNN 模型副本在服务器端完成重训练，仅将必要数据传输至边缘以更新已部署模型。然而，由于带宽限制，我们希望最小化实现更新所需的传输量。我们开发了一种基于矩阵分解的简单方法来压缩模型更新——这与压缩模型本身不同。其核心思想是保留当前模型中的已有知识，并仅优化用于更新的小型附加参数，这些参数可用于在边缘端重构模型。我们将方法与联邦学习中使用的类似技术进行比较；在达到相同准确率时，我们的方法通常所需更新大小不到现有方法的一半。