（放大的）带状矩阵分解：一种私有训练的统一方法

用于差分隐私（DP）的矩阵分解（MF）机制已在多种场景下显著改进了ML应用中隐私-效用-计算权衡的现有技术水平，但在集中式与联邦式设置中仍存在一些情形：要么MF不易直接应用，要么其他算法提供更好权衡（通常当 $\epsilon$ 变小时）。本工作中，我们展示MF如何能在所有隐私预算下涵盖联邦与集中式训练设置中的先前最优算法。贯穿其中的关键技术是构造具有带状矩阵（包含主对角线在内至多 $\hat{b}$ 个非零带的低三角矩阵）的MF机制。对于跨设备联邦学习（FL），这实现了多参与方参与及一种宽松的设备参与模式，兼容实际FL基础设施（如生产部署所展示）。在集中式设置中，我们证明带状矩阵享有与 ubiquitous DP-SGD算法相同的隐私放大结果，但在多数场景下可提供严格更优性能——这使我们总能至少匹配DP-SGD，且常超越之。