基于稀疏模型反演与标记重标的单次联邦学习框架：面向 ViT
机器学习
2026-05-12 v1 人工智能
摘要
单次联邦学习（One-Shot Federated Learning）是一种在单次通信轮次中由中心服务器学习全局模型的新兴范式。然而，在极度非独立同分布（non-IID）设置下，现有数据无关方法常生成质量低下的数据，导致严重的语义对齐问题。为克服这些问题，我们提出一种新的 Federated Model Inversion and Token Relabel（FedMITR）框架，通过充分利用合成图像的所有 patch 来训练全局模型。具体而言，FedMITR 在数据生成过程中采用稀疏模型反演技术，对具有语义前景进行选择性反演，同时中止对无信息背景的反演。为解决阻碍 ViT 预测的语义无意义标记，我们实施差异化策略：信息密度高的 patch 使用生成的伪标签，而信息密度低的 patch 通过集成模型进行重标以实现稳健的蒸馏。理论上，我们基于算法稳定性的分析表明，稀疏模型反演消除了由背景噪声引起的梯度不稳定性，而标记重标有效降低了梯度方差，整体上保证了更紧的泛化界限。实验上，广泛的实验结果表明，FedMITR 在 various 设置下显著优于现有基线。
引用
@article{arxiv.2605.10748,
title = {Provable Sparse Inversion and Token Relabel Enhanced One-shot Federated Learning with ViTs},
author = {Li Shen and Xiaolei Hao and Qinglun Li and Xiaochun Cao and Zhifeng Hao and Xun Yang},
journal= {arXiv preprint arXiv:2605.10748},
year = {2026}
}
备注
18 Pages