ISAAC Newton：基于输入的近似曲率用于牛顿法
机器学习
2023-05-02 v1 计算机视觉与模式识别
最优化与控制
机器学习
摘要
我们提出 ISAAC（Input-baSed ApproximAte Curvature，基于输入的近似曲率），一种利用选定的二阶信息对梯度进行条件化的新方法，在批大小小于神经元数量的情况下具有渐近可忽略的计算开销。我们表明，仅基于相应层的输入即可计算良好的条件子，且无需大量计算开销。所提方法即使在小批量随机场景下也能有效训练，这使其与一阶以及二阶方法相比都具有竞争力。
引用
@article{arxiv.2305.00604,
title = {ISAAC Newton: Input-based Approximate Curvature for Newton's Method},
author = {Felix Petersen and Tobias Sutter and Christian Borgelt and Dongsung Huh and Hilde Kuehne and Yuekai Sun and Oliver Deussen},
journal= {arXiv preprint arXiv:2305.00604},
year = {2023}
}
备注
Published at ICLR 2023, Code @ https://github.com/Felix-Petersen/isaac, Video @ https://youtu.be/7RKRX-MdwqM