基于互信息损失函数的联邦学习基准测试
机器学习
2025-04-17 v1 分布式、并行与集群计算
摘要
联邦学习 (Federated Learning, FL) 因日益增长的隐私关注和类似《通用数据保护条例》(GDPR) 的监管而引起广泛关注，后者强调隐私保护和公平机器学习方法的重要性。在 FL 中，模型训练发生在去中心化的数据上，以便允许客户端上传经过本地训练的模型并接收全局聚合模型，而不暴露敏感信息。然而，与公平性相关的挑战——包括偏见、客户端间性能不均以及“免费骑手”问题——使其实际应用面临困难。本文我们检阅基于互信息 (Mutual Information, MI) 的损失函数以解决这些问题。MI 已证明是衡量变量之间依赖关系并优化深度学习模型的强大方法。通过利用 MI 提取关键特征并最小化偏见，我们旨在提高联邦学习系统的公平性和有效性。通过大规模基准测试，我们评估了 MI 基于损失函数在减少客户端间差异的同时提升联邦学习整体性能的影响。
引用
@article{arxiv.2504.11877,
title = {Benchmarking Mutual Information-based Loss Functions in Federated Learning},
author = {Sarang S and Harsh D. Chothani and Qilei Li and Ahmed M. Abdelmoniem and Arnab K. Paul},
journal= {arXiv preprint arXiv:2504.11877},
year = {2025}
}
备注
6 pages, 4 figures