Ridge Rider：通过跟随 Hessian 特征向量寻找多样化解
机器学习
2020-11-13 v1
摘要
在过去十年中，单一算法改变了我们生活的许多方面——随机梯度下降（SGD）。在损失函数不断降低的时代，SGD 及其各种衍生方法已成为机器学习中的首选优化工具，并且是深度神经网络（DNNs）成功的关键组成部分。虽然 SGD 保证收敛到局部最优（在宽松假设下），但在某些情况下找到哪个局部最优可能很重要，且这往往依赖于上下文。例子频繁出现在机器学习中，从形状 versus 纹理特征到集成方法和零样本协调。在这些设定中，存在 SGD 在“标准”损失函数上无法找到的所需解，因为它反而收敛到“简单”解。在本文中，我们提出一种不同方法。我们不是跟随对应于局部贪婪方向的梯度，而是跟随 Hessian 的特征向量，我们称之为“山脊”（ridges）。通过迭代地跟随并在山脊间分支，我们有效地跨越损失曲面以找到定性不同的解。我们从理论和实验上表明，我们的方法称为 Ridge Rider（RR），为各种具有挑战性的问题提供了有前景的方向。
引用
@article{arxiv.2011.06505,
title = {Ridge Rider: Finding Diverse Solutions by Following Eigenvectors of the Hessian},
author = {Jack Parker-Holder and Luke Metz and Cinjon Resnick and Hengyuan Hu and Adam Lerer and Alistair Letcher and Alex Peysakhovich and Aldo Pacchiano and Jakob Foerster},
journal= {arXiv preprint arXiv:2011.06505},
year = {2020}
}
备注
Camera-ready version, NeurIPS 2020