面向数据异质性下鲁棒泛化的联邦交叉训练学习器
人工智能
2025-09-17 v4
摘要
联邦学习受益于交叉训练策略，该策略使模型能够在不同来源的数据上进行训练，以提升泛化能力。然而，由于数据分布固有的差异，局部模型的优化目标仍然不一致，即使在交叉训练后，这种不匹配仍表现为特征空间异质性。我们认为，来自个性化视角的知识蒸馏保留了客户端特定特征并扩展了局部知识库，而来自全局视角的知识蒸馏提供了一致的语义锚点，有助于跨客户端的特征对齐。为实现这一目标，本文提出了一种名为FedCT的交叉训练方案，包含三个主要模块：一致性感知知识广播模块旨在优化模型分配策略，从而增强客户端之间的协作优势并实现高效的联邦学习过程；多视角知识引导表示学习模块利用来自全局和局部视角的融合原型知识，在模型交换前后增强局部知识的保留，并确保局部知识与全局知识的一致性；基于混合的特征增强模块聚合丰富信息以进一步增加特征空间的多样性，使模型能够更好地区分复杂样本。在四个数据集上进行了广泛的实验，包括性能比较、消融研究、深度分析和案例研究。结果表明，FedCT从局部和全局视角缓解了知识遗忘，使其性能优于现有最先进方法。
引用
@article{arxiv.2405.20046,
title = {Federated Cross-Training Learners for Robust Generalization under Data Heterogeneity},
author = {Zhuang Qi and Lei Meng and Ruohan Zhang and Yu Wang and Xin Qi and Xiangxu Meng and Han Yu and Qiang Yang},
journal= {arXiv preprint arXiv:2405.20046},
year = {2025}
}