基于群代数 improved 差分隐私持续观察
数据结构与算法
2025-02-18 v2
摘要
差分隐私加权前缀和在持续观察情境下是Gboard私有跟随正则化领袖算法中关键组件，Gboard拥有超过十亿用户。具体而言，Google使用差分隐私机制对加权梯度求和。除效率外，私有机制的累积误差至关重要，因为乘以模型维数d的平方根（例如Switch Transformers或M6-10T中d可达万亿），决定了学习系统的准确性。因此，领先常数任何改进在实际应用中都具有重大意义。本文展示了持续加权前缀和机制与表示论中称为群矩阵的概念之间的新颖联系，该概念最初由Dedekind和Frobenius于1897年提出，后被Schur于1904年推广。据我们所知，这是首次将群代数应用于分析差分隐私算法。通过这一联系，我们分析了称为因子范数（factorization norms）的一类矩阵范数，这些范数给出一般ℓp范数下矩阵机制累积误差的上界和下界。这使我们能够给出第一个高效的因子分解，匹配Mathias（1993年）关于Google部署中所用矩阵的最佳非构造性上界，并且改进了Fichtenberger等人（ICML 2023）和Henzinger等人（SODA 2023）的前述构造性界限，以及首个针对广泛加权前缀和问题中大类权重函数（包括Bolot等人（ICDT 2013）提出的滑动窗口矩阵）的累积误差上界。
引用
@article{arxiv.2412.02840,
title = {Improved Differentially Private Continual Observation Using Group Algebra},
author = {Monika Henzinger and Jalaj Upadhyay},
journal= {arXiv preprint arXiv:2412.02840},
year = {2025}
}
备注
21 pages, to appear in SODA 2025. This version contains a proof for all values of n, and f:N \to R (instead of f:N \to R_+)