从 Hessian 视角探析卷积神经网络的本质
机器学习
2023-05-17 v1 机器学习
摘要
尽管卷积神经网络(CNNs)已被长期研究、应用并理论化,我们旨在提供一个略有不同的视角来审视其本质——通过其 Hessian 映射的视角。原因在于,损失 Hessian 捕捉了参数的两两相互作用,从而构成了探究 CNN 的架构特性如何在其结构与性质中显现的自然基础。我们开发了一个依赖于 CNN 托普利兹(Toeplitz)表示的框架,并利用它揭示了 Hessian 结构,特别是其秩。我们证明了紧上界(在线性激活下),该上界紧密跟随 Hessian 秩的经验趋势,并在更一般的设置中于实践中成立。总体而言,我们的工作推广并确立了关键见解:即使在 CNN 中,Hessian 秩也随参数数量的平方根增长。
引用
@article{arxiv.2305.09088,
title = {The Hessian perspective into the Nature of Convolutional Neural Networks},
author = {Sidak Pal Singh and Thomas Hofmann and Bernhard Schölkopf},
journal= {arXiv preprint arXiv:2305.09088},
year = {2023}
}
备注
ICML 2023 conference proceedings