驯服噪声诱导的原型退化以实现隐私保护的个性化联邦微调
计算机视觉与模式识别
2026-05-01 v1 机器学习
摘要
基于原型的个性化联邦学习通过通信紧凑的类原型实现高效的多域适应，但直接共享原型会带来隐私风险。一种常见的防御措施是在原型计算前对每个样本进行 裁剪以限制敏感度，然后添加各向同性高斯噪声以实现本地差分隐私。然而，各向同性高斯原型扰动通常过度扰动判别性维度，并且难以在裁剪阈值与表示保真度之间取得平衡。在本文中，我们提出了 VPDR，一个无缝集成到现有 ProtoPFL 中的客户端隐私插件。受维度级类方差反映判别能力的观察启发，我们引入了方差自适应原型扰动 (VPP)，它为判别性子空间分配更少的噪声，在确保隐私的同时保持语义可分离性。我们进一步开发了蒸馏引导的裁剪正则化 (DCR)，它使特征范数能够自适应地集中在预定义的裁剪阈值附近，同时保持预测一致性。理论分析表明，在相同的隐私约束下，我们的分组机制提供的隐私保障不弱于各向同性基线。在多领域基准上的大量实验表明，VPDR 实现了优越的隐私-效用权衡，在不牺牲对现实攻击鲁棒性的前提下，在个性化联邦微调中优于 IGPP。
引用
@article{arxiv.2604.27833,
title = {Taming Noise-Induced Prototype Degradation for Privacy-Preserving Personalized Federated Fine-Tuning},
author = {Yuhua Wang and Qinnan Zhang and Xiaodong Li and Huan Zhang and Yifan Sun and Wangjie Qiu and Hainan Zhang and Yongxin Tong and Zhiming Zheng},
journal= {arXiv preprint arXiv:2604.27833},
year = {2026}
}
备注
Accepted by CVPR 2026 (Highlight)