通过反向传播曲率估计Hessian矩阵
机器学习
2012-09-05 v2 机器学习
摘要
在这项工作中，我们开发了曲率传播(CP)，一种通用技术，用于高效计算通过计算图计算的任何函数的Hessian矩阵的无偏近似。以大约两次梯度评估为代价，CP可以给出整个Hessian的秩1近似，并且可以重复应用以提供Hessian的任何或所有条目的越来越精确的无偏估计。特别令人感兴趣的是Hessian的对角线，目前没有已知的通用方法既高效又准确。我们在实验中表明，CP在实践中效果良好，例如，以相对较少的工作量给出了神经网络Hessian的非常准确的估计。我们还将CP应用于分数匹配，其中Hessian的对角线在分数匹配目标中起重要作用，并且通常使用不高效的算法精确计算，这些算法无法扩展到更大更复杂的模型。
引用
@article{arxiv.1206.6464,
title = {Estimating the Hessian by Back-propagating Curvature},
author = {James Martens and Ilya Sutskever and Kevin Swersky},
journal= {arXiv preprint arXiv:1206.6464},
year = {2012}
}
备注
Appears in Proceedings of the 29th International Conference on Machine Learning (ICML 2012)