DP-KFC：面向隐私保护深度学习的数据无 preconditioning
机器学习
2026-05-14 v1
摘要
差分隐私优化存在根本性几何不匹配：深度网络具有高度各向异性的损失景观，而 DP-SGD 注入的是各向同性噪声。二阶 preconditioning 可解决此问题，但估计曲率通常需要私有数据（消耗隐私预算）或公共数据（引入分布迁移）。我们表明 Fisher 信息矩阵可分解为可通过合成噪声恢复的结构敏感性和可从模态特定频率统计中近似的输入相关性。我们提出 DP-KFC，通过探测网络施加结构化合成噪声来构建 KFAC preconditioner，既无需私有数据也无需公共数据。实验上，DP-KFC 在强隐私场景 (ε ≤ 3) 下在各类模态上 consistently 优于 DP-SGD 和自适应基线。DP-KFC 在保持私有数据 preconditioner 性能的同时，公共数据变体下降最高可达 4.8%，表明曲率可在不消耗隐私预算或引入分布迁移的情况下估计。这为监管约束导致数据稀缺的专业领域（如医疗）中的隐私保护学习提供了可能。
引用
@article{arxiv.2605.13418,
title = {DP-KFC: Data-Free Preconditioning for Privacy-Preserving Deep Learning},
author = {Marc Molina Van den Bosch and Riccardo Taiello and Albert Sund Aillet and Andrea Protani and Miguel Angel Gonzalez Ballester and Luigi Serio},
journal= {arXiv preprint arXiv:2605.13418},
year = {2026}
}
备注
Accepted at the International Conference on Machine Learning (ICML 2026). 9 pages main text + appendix, 5 figures, 2 tables. Code: https://github.com/molinamarcvdb/DP-KFC