面向联邦学习的架构设计：通过自适应归一化无关特征重校准应对数据异构性

联邦学习是一种保持利益相关方数据所有权的去中心化协作训练范式，能够提升性能和泛化能力。然而，来自不同客户端的数据集之间的统计异构性会降低系统性能。为解决此问题，我们提出了自适应归一化无关特征重校准（Adaptive Normalization-free Feature Recalibration, ANFR）方法，这是一种基于模型架构的技术，结合了权重标准化和通道注意力机制，以应对联邦学习中的异构数据。ANFR利用权重标准化来避免客户端统计信息不匹配和不一致的平均，确保在数据异构性条件下的鲁棒性；同时利用通道注意力生成可学习的特征图缩放因子，以抑制由于数据异构性导致的客户端之间的不一致性。我们证明，组合这两种技术的效果优于单独使用，具体体现为提高类别选择性和通道注意力权重分布。ANFR可与任何聚合方法配合工作，支持全局联邦学习和个人化联邦学习，同时增加的开销最小。此外，在采用差分隐私训练时，ANFR能够在隐私性和实用性之间实现令人满意的平衡，为提供强隐私保证而不牺牲性能。通过在骨干模型中集成权重标准化和通道注意力，ANFR提供了一种新颖且通用的解决统计异构性挑战的方法。大量实验表明，在各种聚合方法、数据集和异构性条件下，ANFR都一致优于既定基线方法。代码已提供至 https://github.com/siomvas/ANFR。