通过差分隐私视角看在线学习
机器学习
2019-10-30 v4
摘要
在本文中，我们使用差分隐私作为透镜来审视全信息与部分信息设定下的在线学习。差分隐私框架其核心较少关乎隐私，更多关乎算法稳定性，因而在信息安全并非核心的领域中亦获应用。此处我们发展了一种称为单步差分稳定性的算法性质，它有助于对在线学习方法进行更精细的悔界分析。我们表明，差分隐私文献中的工具可给出诸多有趣在线学习问题（包括在线凸优化与在线线性优化）的悔界。我们的稳定性概念尤其适于推导跟随扰动领导者算法的首阶悔界，这是以往所有分析均难以实现的。我们还将标准最大散度推广以获得更广一类称为 Tsallis 最大散度的散度。这些定义了更强的稳定性概念，可用于推导部分信息设定（如多臂赌博机与带专家赌博机）中的界。
引用
@article{arxiv.1711.10019,
title = {Online Learning via the Differential Privacy Lens},
author = {Jacob Abernethy and Young Hun Jung and Chansoo Lee and Audra McMillan and Ambuj Tewari},
journal= {arXiv preprint arXiv:1711.10019},
year = {2019}
}