FSAR：基于自适应拓扑结构与知识蒸馏的联邦骨架动作识别
计算机视觉与模式识别
2023-06-21 v1
摘要
现有的基于骨架的动作识别方法通常遵循集中式学习范式，在暴露与人相关的视频时会引发隐私问题。联邦学习（Federated Learning, FL）因其出色的隐私保护优势而备受关注。然而，将FL方法直接应用于骨架视频会遇到训练不稳定的问题。本文中，我们研究并发现异构的人体拓扑图结构是导致训练稳定性受阻的关键因素。为应对该局限，我们开创了一种新颖的基于联邦骨架的动作识别（FSAR）范式，其能够在无需访问本地敏感数据的情况下构建全局泛化模型。具体而言，我们引入了自适应拓扑结构（ATS），通过学习跨客户端共享的域不变拓扑以及与全局模型聚合解耦的域特定拓扑，将泛化与个性化分离。此外，我们探索了多粒度知识蒸馏（MKD），通过对齐浅层分块运动特征来缓解由不同更新模式引起的客户端与服务器间的差异。在多个数据集上的大量实验表明，FSAR在保护隐私的同时优于最先进的基于FL的方法。
引用
@article{arxiv.2306.11046,
title = {FSAR: Federated Skeleton-based Action Recognition with Adaptive Topology Structure and Knowledge Distillation},
author = {Jingwen Guo and Hong Liu and Shitong Sun and Tianyu Guo and Min Zhang and Chenyang Si},
journal= {arXiv preprint arXiv:2306.11046},
year = {2023}
}