GraMFedDHAR：面向多模态差分隐私联邦行为识别的图基方法
机器学习
2025-09-09 v1 人工智能
密码学与安全
机器学习
摘要
使用多模态传感器数据进行人类活动识别（HAR）仍面临测量噪声或不完整、标签示例稀缺以及隐私 concerns 等挑战。传统的集中式深度学习方法常受制于基础设施可用性、网络延迟和数据共享限制。虽然联邦学习（FL）通过在本地训练模型并仅共享模型参数来解决隐私问题，但仍需应对异构多模态数据和差分隐私要求所带来的问题。本文提出一种基于图的多模态联邦学习框架 GraMFedDHAR，用于 HAR 任务。将压力垫、深度相机和多个加速度计等多样化传感器流建模为模态特定图，通过残差图卷积神经网络（GCN）进行处理，并通过注意力加权融合，而非简单拼接。融合后的嵌入向量可实现稳健的活动分类，而差分隐私则在联邦聚合期间保护数据。实验结果表明，所提出的 MultiModalGCN 模型在非 DP 设置下在集中式和联邦范式下均优于基线 MultiModalFFN，准确率提升最高可达 2 个百分点。更重要的是，在差分隐私约束下观察到显著改进：MultiModalGCN 在不同隐私预算和设置下持续优于 MultiModalFFN，性能差距从 7% 到 13% 不等。这些结果凸显了图基建模在多模态学习中的鲁棒性，图神经网络（GNN）在 DP 噪声引入的性能降低方面更具抗性。
引用
@article{arxiv.2509.05671,
title = {GraMFedDHAR: Graph Based Multimodal Differentially Private Federated HAR},
author = {Labani Halder and Tanmay Sen and Sarbani Palit},
journal= {arXiv preprint arXiv:2509.05671},
year = {2025}
}