利用梯度下降学习带偏置的单神经元

我们在ReLU激活的可实现设定下，从理论上研究带偏置项（$\mathbf{x} \mapsto \sigma(<\mathbf{w},\mathbf{x}> + b)$）的学习单神经元这一基本问题，使用的是梯度下降。或许令人惊讶的是，我们表明这与无偏置情形（此前单神经元相关工作的焦点）在优化几何以及梯度方法在某些场景下成功的能力方面均显著不同且更具挑战性。我们对该问题进行了详细研究，刻画了目标函数的临界点，展示了失败情形，并在不同假设集下给出了正的收敛保证。为证明我们的结果，我们开发了一些可能具有独立意义的工具，并改进了此前关于学习单神经元的结果。