机器学习中的糟糕起点
机器学习
2016-02-10 v1 神经与进化计算
最优化与控制
机器学习
摘要
在机器学习中，用于学习/训练/优化的糟糕（甚至随机）起点十分常见。在许多设定下，Robbins和Monro的方法（在线随机梯度下降）已知对良好起点是最优的，但可能对糟糕起点并非最优——事实上，对于糟糕起点，Nesterov加速在初始迭代中会有帮助，尽管并非为随机近似设计的Nesterov方法在后续迭代中可能有害。采用非平凡小批量进行训练的常见做法增强了Nesterov加速的优势。
引用
@article{arxiv.1602.02823,
title = {Poor starting points in machine learning},
author = {Mark Tygert},
journal= {arXiv preprint arXiv:1602.02823},
year = {2016}
}
备注
11 pages, 3 figures, 1 table; this initial version is literally identical to that circulated among a restricted audience over a month ago