用于强 ε 脱敏模型中非线性学习的迭代阈值方法

我们推导了使用阈值梯度下降学习单层神经元模型的逼近界限，无论标签或协变量是否受到恶意破坏。我们假设数据遵循模型 $y = \sigma(\mathbf{w}^{*} \cdot \mathbf{x}) + \xi$，其中 $\sigma$ 为非线性激活函数，噪声 $\xi$ 为高斯噪声，协变量向量 $\mathbf{x}$ 来自亚高斯分布。我们研究了 sigmoid、 leaky-ReLU 和 ReLU 激活函数，推导出 $O(\nu\sqrt{\epsilon\log(1/\epsilon)})$ 的 $\ell_{2}$-范数逼近界限，样本复杂度为 $O(d/\epsilon)$，失败概率为 $e^{-\Omega(d)}$。我们还研究了线性回归问题，其中 $\sigma(\mathbf{x}) = \mathbf{x}$。我们推导出 $O(\nu\epsilon\log(1/\epsilon))$ 的逼近界限，显著改进了 Bhatia 等人 (NeurIPS 2015) 和 Shen 和 Sanghavi (ICML 2019) 基于梯度下降的迭代阈值算法的原有 $O(\nu)$ 逼近界限。当 $\|\mathbf{w}^{*}\|_2 \leq R$ 时，我们的算法具有 $O(\textrm{polylog}(N,d)\log(R/\epsilon))$ 的运行复杂度，优于 Awasthi 等人 (NeurIPS 2022) 的 $O(\text{polylog}(N,d)/\epsilon^2)$ 运行复杂度。