鲁棒学习单神经元以应对分布偏移与对抗性标签噪声

我们研究了在存在对抗性分布偏移的情况下学习单个神经元的问题，其中标签可以是任意的，目标是找到一个"最佳拟合"函数。更精确地说，给定来自参考分布 $\mathcal{p}_0$ 的训练样本，目标是逼近向量 $\mathbf{w}^*$，该向量最小化关于与 $\mathcal{p}_0$ 在 $\chi^2$-散度上接近的最坏情况分布的平方损失。我们设计了一种计算高效的算法，恢复一个向量 $\hat{\mathbf{w}}$，满足 $\mathbb{E}_{\mathcal{p}^*}(\sigma(\hat{\mathbf{w}}\cdot\mathbf{x})-y)^2 \leq C\,\mathbb{E}_{\mathcal{p}^*}(\sigma(\mathbf{w}^*\cdot\mathbf{x})-y)^2 + \epsilon$，其中 $C>1$ 是一个与维度无关的常数，$(\mathbf{w}^*, \mathcal{p}^*)$ 是达到最小最大风险 $\min_{\mathbf{w}:\|\mathbf{w}\|\leq W}\max_{\mathcal{p}}\mathbb{E}_{(\mathbf{x},y)\sim\mathcal{p}}(\sigma(\mathbf{w}\cdot\mathbf{x})-y)^2 - \nu\chi^2(\mathcal{p},\mathcal{p}_0)$ 的见证者。我们的算法遵循原始-对偶框架，通过直接界定关于原始非凸 $L_2^2$ 损失的风险来设计。从优化的角度来看，我们的工作为在结构化非凸性下设计原始-对偶算法开辟了新途径。