冻结基础模型上岭回归头的精确联邦持续遗忘
机器学习
2026-03-17 v2
摘要
基础模型通常被部署为冻结的特征提取器，并带有一个小的可训练头，以适应联邦设置中的私有用户生成数据。“被遗忘权”要求按需从训练模型中移除特定样本或用户的影响。现有的联邦遗忘方法针对通用深度模型，依赖于近似重构或选择性重训练，使得精确性代价高昂或难以实现。我们在一个实际相关但研究不足的机制下研究此问题：一个带有岭回归头的冻结基础模型。精确最优解仅通过两个加性充分统计量依赖于数据，我们将其转化为一个通信协议，通过固定大小的消息支持任意添加和删除请求流。服务器维护一个头，在精确算术意义上，该头在每次请求后与集中式重训练逐点相同。我们提供了确定性的重训练等价保证、顺序和划分不变性、两种服务器端变体，以及一个零KL散度的贝叶斯证书。在四个基准上的实验证实了这些保证：两种变体与集中式岭重训练的匹配度在相对Frobenius误差以内，并且每个请求的完成成本比联邦重训练基线低数个数量级。
引用
@article{arxiv.2603.12977,
title = {Exact Federated Continual Unlearning for Ridge Heads on Frozen Foundation Models},
author = {Yijun Quan and Wentai Wu and Giovanni Montana},
journal= {arXiv preprint arXiv:2603.12977},
year = {2026}
}