任意偏置下单个ReLU神经元的学习性
机器学习
2026-02-04 v3 数据结构与算法
机器学习
摘要
我们考虑一个基本算法问题：在不可实现设置下，单个任意偏置的ReLU神经元是否可学习。特别是，所有现有的多项式时间算法仅对性质更好的无偏设置或受限偏置设置提供近似保证。我们的主要结果是第一个多项式时间统计查询（SQ）算法，该算法对任意偏置给出了首个常数因子近似。它在时间 内输出一个ReLU激活函数，其损失为 ，其中 是最优ReLU激活函数所达到的损失。我们的算法与现有算法存在显著不同，现有算法均基于梯度下降，因此属于相关统计查询（CSQ）算法类别。我们通过证明没有多项式时间的CSQ算法能够实现常数因子近似来补充我们的算法结果。这些结果共同揭示了梯度下降的内在局限性，同时确定了可能是最简单的设置（单个神经元），在该设置中SQ和CSQ算法之间存在分离。
引用
@article{arxiv.2411.14349,
title = {Agnostic Learning of Arbitrary ReLU Activation under Gaussian Marginals},
author = {Anxin Guo and Aravindan Vijayaraghavan},
journal= {arXiv preprint arXiv:2411.14349},
year = {2026}
}