几何先验引导的联邦提示校准
机器学习
2025-12-09 v1 人工智能
摘要
联邦提示学习（FPL）为协同训练大型模型提供了参数高效的解决方案，但因数据异构性严重受限，其性能受到数据异构性的严重限制，这会导致本地训练的提示偏差。现有方法侧重于聚合或正则化，未能解决本地训练偏差的根本原因。为此，我们提出了几何引导文本提示校准（GGTPC），一种 novel 框架，通过为客户端提供全局几何先验来直接纠正这种偏差。该先验代表从协方差矩阵中推导出的全局数据分布形状，在服务器以隐私保护方式进行重建。客户端随后使用 novel 几何先验校准层（GPCL）在训练期间将其本地特征分布与该全局先验对齐。广泛的实验表明GGTPC有效。在标签偏斜的CIFAR-100数据集上（=0.1），其优于最新方法2.15%。在极端偏斜（=0.01）下，相较于基线提升9.17%。此外，作为可插入模块在域偏斜的Office-Home数据集上，可使FedAvg性能提升4.60%。这些结果表明GGTPC通过纠正根本的本地训练偏差有效缓解了数据异构性，可作为增强各种联邦学习算法的通用模块。
引用
@article{arxiv.2512.07208,
title = {Geometric Prior-Guided Federated Prompt Calibration},
author = {Fei Luo and Ziwei Zhao and Mingxuan Wang and Duoyang Li and Zhe Qian and Jiayi Tuo and Chenyue Zhou and Yanbiao Ma},
journal= {arXiv preprint arXiv:2512.07208},
year = {2025}
}