中文

使用梯度方法学习单个神经元

机器学习 2022-03-01 v3 神经与进化计算 机器学习

摘要

我们考虑使用标准梯度方法学习单个神经元 xσ(wx)x \mapsto\sigma(w^\top x) 这一基本问题。与以往考虑特定(且不总是现实的)输入分布和激活函数 σ()\sigma(\cdot) 的工作不同,我们探讨在更温和的假设下是否能得到更一般的结果。一方面,我们表明对分布和激活函数的某些假设是必要的。另一方面,我们在温和假设下证明了正向保证,其超越了迄今文献中所研究的范畴。我们也指出并研究了进一步强化和推广我们结果所面临的挑战。

关键词

引用

@article{arxiv.2001.05205,
  title  = {Learning a Single Neuron with Gradient Methods},
  author = {Gilad Yehudai and Ohad Shamir},
  journal= {arXiv preprint arXiv:2001.05205},
  year   = {2022}
}

备注

Fixed a small bug in the proof of Theorem 4.2