高余维中的梯度下降
最优化与控制
2019-04-19 v2 机器学习
动力系统
机器学习
摘要
我们考虑梯度流以及离散和带噪声梯度下降的行为。人们通常注意到，向离散梯度下降过程添加噪声会影响梯度下降的轨迹。在先前的工作中，我们观察到了此类效应。在那里，我们考虑了极小值为余维 1 的情况。在本注记中，我们进行了一些计算机实验，并观察了在极小值为更高余维的更复杂设置下带噪声梯度下降的行为。
引用
@article{arxiv.1809.05527,
title = {Gradient descent in higher codimension},
author = {Y. Cooper},
journal= {arXiv preprint arXiv:1809.05527},
year = {2019}
}