基于专家的隐私在线预测：分离性与更快收敛速率

基于专家的在线预测是机器学习中的一个基本问题，已有若干工作在隐私约束下研究了该问题。我们提出并分析了该问题的新算法，其遗憾界优于现有针对非自适应对手的最佳算法的相应界。对于近似差分隐私，我们的算法在随机设定下达到$\tilde{O}(\sqrt{T \log d} + \log d/\varepsilon)$的遗憾界，对遗忘型对手达到$\tilde{O}(\sqrt{T \log d} + T^{1/3} \log d/\varepsilon)$的遗憾界（其中$d$为专家数量）。对于纯差分隐私，我们的算法是首个在高维情形$d \ge T$下对遗忘型对手获得次线性遗憾的算法。此外，我们证明了针对自适应对手的新下界。我们的结果表明，与非隐私设定不同，该问题中自适应与非自适应对手的最优遗憾之间存在强分离。我们的下界还展示了自适应对手下纯差分隐私与近似差分隐私之间的分离，其中后者对于达到非隐私的$O(\sqrt{T})$遗憾是必要的。