FERRET：比DPSGD更快更好的私有深度学习

我们从互信息差分隐私（Mutual-information differential privacy, MI-DP）的角度重新审视1位梯度压缩。基于signSGD，我们提出FERRET——Fast and Effective Restricted Release for Ethical Training——其每个参数组最多传输一个符号位，采用伯努利掩码。理论分析：我们证明每个触发的组最多泄露ln 2 nats；在以速率s抽样后，对G组在T步中以触发概率p训练的总隐私损失为epsilon = G * T * s * p * ln 2。因此，FERRET在[0.1, 2]范围内实现MI-DP，而无需添加噪声。实践中，我们在五个LLMs（137M-1.8B参数）上评估了三个粒度——FERRET-MAX（最细）、FERRET-EIGHTH（中等）和FERRET-2（最粗），对比DPSGD和非私有基线。所有方法训练1、3、5个时代。效用：在所有设置下，FERRET-MAX/EIGHTH均优于DPSGD的困惑度。epsilon=0.5时，5个时代：FERRET-EIGHTH的困惑度为3.98，而DPSGD为11.61（快2.9倍），仅差23%于非私有（3.25）。隐私：MI-AUC对FERRET-MAX/EIGHTH保持在随机水平（~0.51），与DPSGD相当，而DPSGD相对于非私有为0.76-0.99。FERRET-2显示更高泄露（~0.55），因缺乏裕度。效率：更严格的预算触发较少符号位，FERRET的训练时间仅为DPSGD的19-33%，仅为非私有训练时间的34-36%。结论：基于符号的MI-DP更接近实现隐私、效用、性能三角困境的三个质量：FERRET训练速度最高可达5倍，困惑度比DPSGD低3倍，比非私有高1.2倍，同时提供形式化、可数学证明的隐私保证，且无需添加噪声。结果还表明，在某些情况下，掩码化1位更新可在保护数据隐私的同时，匹配非私有训练的效用。