超越平方根：面向多轮次隐私学习的显式内存高效分解
机器学习
2026-05-19 v1
摘要
相关噪声机制是提升差分隐私模型训练效用的最有前景的方法之一，但严格的保证需要显式、可分析的分解，而实际部署需要内存高效。近期工作发展了带状逆分解，通过利用相关矩阵中的带状结构同时满足这两个要求。带宽控制用于跨迭代关联噪声的噪声缓冲区大小，从而支配效用与内存成本之间的权衡。现有分解凸显了这一权衡：DP-CGD 通过仅使用单步噪声缓冲区实现高内存效率，但这限制了其效用增益；而带状逆平方根 (BISR) 分解利用更大的相关窗口，在大带宽下渐近最优，但在低带宽下表现不佳。我们提出 -BIFR，作为这两种分解的统一推广。在低内存、低带宽区间，-BIFR 显著改善了 RMSE、放大 RMSE 和隐私训练性能，同时为多轮次训练中的多次参与误差提供了更紧的理论保证。
引用
@article{arxiv.2605.18379,
title = {Beyond Square Roots: Explicit Memory-Efficient Factorization for Multi-Epoch Private Learning},
author = {Nikita P. Kalinin and Aki Rehn and Joel Daniel Andersson and Antti Honkela and Christoph H. Lampert},
journal= {arXiv preprint arXiv:2605.18379},
year = {2026}
}