FedMLAC：互学习驱动的异构联邦音频分类
声音
2025-08-05 v2 分布式、并行与集群计算
音频与语音处理
摘要
联邦学习（FL）提供了一种在不共享原始数据的情况下跨去中心化客户端训练音频分类（AC）模型的隐私保护框架。然而，联邦音频分类（FedAC）面临三大挑战：数据异构性、模型异构性和数据投毒，这些因素在真实场景中会降低性能。尽管现有方法通常分别解决这些问题，但统一的鲁棒解决方案仍未得到充分探索。我们提出 FedMLAC，一个基于互学习的联邦学习框架，能够同时应对上述三大挑战。每个客户端维护一个个性化的本地 AC 模型和一个轻量级的全局共享 Plug-in 模型。这些模型通过双向知识蒸馏进行交互，在适应本地数据分布的同时实现全局知识共享，从而同时解决数据异构性和模型异构性问题。为应对数据投毒，我们引入了一种逐层剪枝聚合（Layer-wise Pruning Aggregation, LPA）策略，该策略在聚合过程中基于参数偏差过滤异常的 Plug-in 更新。在四个多样化音频分类基准上的广泛实验，包括语音和非语音任务，表明 FedMLAC 在分类准确性和对噪声数据的鲁棒性方面持续优于现有最先进基线方法。
引用
@article{arxiv.2506.10207,
title = {FedMLAC: Mutual Learning Driven Heterogeneous Federated Audio Classification},
author = {Jun Bai and Rajib Rana and Di Wu and Youyang Qu and Xiaohui Tao and Ji Zhang and Carlos Busso and Shivakumara Palaiahnakote},
journal= {arXiv preprint arXiv:2506.10207},
year = {2025}
}
备注
updated version for the first submission