异构嵌入式设备上的联邦动作识别
分布式、并行与集群计算
2021-07-27 v1 计算机视觉与模式识别
摘要
联邦学习允许大量设备在不共享数据的情况下联合学习模型。在本工作中，我们使计算能力受限的客户端能够执行动作识别这一计算密集型任务。我们首先在中央服务器通过对大型数据集进行知识蒸馏来执行模型压缩。这使模型能够学习复杂特征，并作为模型微调的初始化。之所以需要微调，是因为较小数据集中有限的数据不足以让动作识别模型学习复杂的时空特征。由于参与的客户端在计算资源上常呈异构，我们采用异步联邦优化并进一步给出收敛界。我们将本方法与两种基线方法比较：在中央服务器微调（无客户端）以及使用（异构）客户端通过同步联邦平均进行微调。我们在异构嵌入式设备测试平台上实证表明，我们能以与上述两种基线相当的精度执行动作识别，同时异步学习策略相较同步学习将训练时间减少40%。
引用
@article{arxiv.2107.12147,
title = {Federated Action Recognition on Heterogeneous Embedded Devices},
author = {Pranjal Jain and Shreyas Goenka and Saurabh Bagchi and Biplab Banerjee and Somali Chaterji},
journal= {arXiv preprint arXiv:2107.12147},
year = {2021}
}
备注
13 pages, 12 figures