DP-Dueling：在不损害用户隐私的前提下从偏好反馈中学习

我们研究已被深入探讨的对决赌博机问题，其中学习者在差分隐私约束下，旨在通过成对比较来识别近似最优动作。我们考虑了一类适用于大型（可能无界）决策空间的基于效用的偏好矩阵，并首次提出了用于用户偏好主动学习的差分隐私对决赌博机算法。我们提出的算法计算效率高，且在隐私和非隐私遗憾界方面均具有近似最优性能。更准确地说，我们证明当决策空间大小为有限值 $K$ 时，我们提出的算法在纯 $\epsilon$-DP 下产生阶最优的 $O\Big(\sum_{i = 2}^K\log\frac{KT}{\Delta_i} + \frac{K}{\epsilon}\Big)$ 遗憾界，其中 $\Delta_i$ 表示第 $i$ 个臂的次优性间隙。我们还给出了匹配的下界分析，证明了我们算法的最优性。最后，我们将结果扩展到 $d$ 维中可能具有无限臂的任意一般决策空间，并设计了一个 $\epsilon$-DP 算法，其遗憾为 $\tilde{O} \left( \frac{d^6}{\kappa \epsilon } + \frac{ d\sqrt{T }}{\kappa} \right)$，当 $T \gg d$ 时免费提供隐私保护。