大函数空间中的学习：支持向量机学习的隐私保护机制

最近几项关于隐私保护学习的研究考虑了统计查询处理机制所保证的效用或风险与差分隐私水平之间的权衡。本文我们研究了私有支持向量机学习中的这种权衡。我们提出了两种高效机制，一种针对有限维特征映射的情况，另一种针对具有平移不变核的潜在无限维特征映射的情况。对于平移不变核的情况，所提出的机制在一个随机再生核希尔伯特空间中最小化正则化经验风险，该空间的核以高概率均匀逼近所需核。这种借鉴自大规模学习的技术，使得机制即使当函数类具有无限VC维时，也能以有限编码响应分类器。差分隐私通过算法稳定性的证明技术建立。效用——机制的响应函数以概率1-delta逐点epsilon-接近非私有SVM——通过论证正则化经验风险最小化对特征映射小扰动的光滑性来证明。我们最后给出了SVM最优差分隐私的下界。这一否定结果表明，对于任何delta，不存在同时(epsilon,delta)-有用且对于小epsilon和小beta为beta-差分隐私的机制。