增长条件下的差分隐私非参数回归

给定一个实值假设类 $\mathcal{H}$，我们研究在何种条件下存在一个差分隐私算法，能够从独立同分布数据中学习 $\mathcal{H}$ 中的最优假设。受近期关于二分类相关设置的结果（Alon et al., 2019; Bun et al., 2020）启发，这些结果表明二分类类的在线可学习性是其隐私可学习性的充要条件，Jung et al. (2020) 证明了在回归设置中，$\mathcal{H}$ 的在线可学习性是其隐私可学习性的必要条件。这里 $\mathcal{H}$ 的在线可学习性由其对所有 $\eta > 0$ 的 $\eta$-序列脂肪破碎维数 ${\rm sfat}_\eta(\mathcal{H})$ 的有限性来刻画。在隐私可学习性的充分条件方面，Jung et al. (2020) 证明了如果 $\lim_{\eta \downarrow 0} {\rm sfat}_\eta(\mathcal{H})$ 有限，则 $\mathcal{H}$ 是私有可学习的，这是一个相当严格的条件。我们证明，在更宽松的条件 $\lim \inf_{\eta \downarrow 0} \eta \cdot {\rm sfat}_\eta(\mathcal{H}) = 0$ 下，$\mathcal{H}$ 是私有可学习的，从而为 ${\rm sfat}_\eta(\mathcal{H})$ 随 $\eta \downarrow 0$ 发散的非参数函数类 $\mathcal{H}$ 建立了首个非参数私有可学习性保证。我们的技术涉及一种新颖的过滤过程，用于为非参数函数类输出稳定的假设。