论隐私在线凸优化：ℓ_p 几何中的最优算法与高维上下文赌博机

差分隐私（DP）随机凸优化（SCO）在可信机器学习算法设计中无处不在。本文研究具有从分布中采样并顺序到达的流数据的 DP-SCO 问题。我们还考虑持续释放模型，其中与隐私信息相关的参数在每一条新数据到达时更新并释放，通常称为在线算法。尽管已开发了大量算法以在不同 ℓ_p 范数几何下达到最优 excess risk（超额风险），但现有算法均无法适应流数据与持续释放设定。为解决这一隐私保护下的在线凸优化挑战，我们提出了一种带递归梯度以降低方差的在线 Frank-Wolfe 算法的隐私变体，用于在每条数据上更新并揭示参数。结合自适应差分隐私分析，我们的在线算法在线性时间内达到了 1<p≤2 时的最优超额风险，以及 2<p≤∞ 时符合非隐私下界的当前最优超额风险。我们的算法也可扩展到 p=1 的情形以达成近乎维度无关的超额风险。先前关于递归梯度的方差降低结果仅在独立同分布样本设定下有理论保证，我们在非平稳设定下建立了此类保证。为展示我们方法的优点，我们设计了首个具有对数后悔（regret）的高维广义线性赌博机 DP 算法。与多种 DP-SCO 和 DP-Bandit 算法的对比实验显示了所提算法的有效性与实用性。