面向深度学习的双高斯-牛顿方向
机器学习
2023-10-30 v2 最优化与控制
摘要
受类高斯-牛顿方法的启发，我们研究了利用深度学习目标函数的结构（即凸损失函数与非线性网络的复合）来推导优于随机梯度的方向预言机的益处，其基于部分线性化的思想。与以往工作不同，我们提出通过其偶 formulation 计算此类方向预言机，从而带来计算优势与新见解。我们证明所得预言机定义了下降方向，可作为随机梯度的直接替代用于现有优化算法中。我们通过实验研究了使用偶 formulation 的优势以及计算此类预言机所涉及的计算权衡。
引用
@article{arxiv.2308.08886,
title = {Dual Gauss-Newton Directions for Deep Learning},
author = {Vincent Roulet and Mathieu Blondel},
journal= {arXiv preprint arXiv:2308.08886},
year = {2023}
}
备注
Presented at the Duality Principles for Modern Machine Learning Workshop at ICML 2023