在线学习与差分隐私学习的平滑分析
机器学习
2020-06-19 v1 数据结构与算法
机器学习
摘要
算法对鲁棒性与隐私的实际且普遍的需求，催生了在线对抗式与差分隐私学习算法的设计。在这些设定下刻画可学习性的主要度量是假设类的 Littlestone 维 [Ben-David 等, 2009, Alon 等, 2019]。该刻画常被解读为不可能性结果，因为如线性阈值与神经网络等类的 Littlestone 维是无穷的。本文中，我们应用平滑分析 [Spielman and Teng, 2004] 的框架，其中对抗式选取的输入会被自然轻微扰动。我们表明，相较于最坏情况对抗者，平滑对抗者能实现本质上更强的后悔与误差保证。特别地，我们得到的后悔与隐私误差界仅依赖于假设类的 VC 维与括号数，以及扰动的大小。
引用
@article{arxiv.2006.10129,
title = {Smoothed Analysis of Online and Differentially Private Learning},
author = {Nika Haghtalab and Tim Roughgarden and Abhishek Shetty},
journal= {arXiv preprint arXiv:2006.10129},
year = {2020}
}