DPVIm：改进的差分隐私变分推断

多维统计的差分隐私（DP）发布通常考虑聚合敏感度，例如高维向量的向量范数。然而，该向量的不同维度可能具有差异极大的量级，因此 DP 扰动对不同维度上的信号影响不成比例。我们在将 DP-SGD 算法用于变分推断（VI）时的梯度发布中观察到此问题，其表现为某些变分参数的收敛不良及输出高方差，并作出如下贡献：(i) 我们从数学上隔离了对应于不同变分参数的梯度部分之间量级差异的成因。将此作为先验知识，我们建立了变分参数梯度间的联系，并针对该问题提出一种高效而简单的修复方法以获得噪声更少的梯度估计器，称之为 $\textit{aligned}$ 梯度。该方法使我们能在无隐私代价下获得高斯后验近似协方差参数的更新。我们将其与利用解析推导预条件（如自然梯度）缩放梯度的替代方法进行比较。(ii) 我们建议对训练期间恢复的 DP 参数轨迹进行迭代平均，以在隐私无额外代价下降低参数估计中的 DP 引入噪声。最后，(iii) 为准确捕捉 DP 引入模型参数的额外不确定性，我们从参数轨迹推断 DP 引入噪声，并将其纳入所学后验中以使其 $\textit{noise aware}$。我们通过真实数据上的多种实验证明了所提改进的有效性。