一类确定性神经网络模型的 Hessian-信息几何表述
数学物理
2019-05-16 v1 math.MP
斑图形成与孤子
摘要
本文从微分几何视角表述了一类描述确定性神经网络模型的动力系统。该类包含 Hopfield 模型与梯度系统，并且其所谓的激活函数诱导出信息与 Hessian 几何。在此表述中，证明了属于该类的动力系统的相空间可压缩性可用定义于 Hessian 流形上的拉普拉斯算子写出，其中相空间可压缩性与流形的体积形式相关，并表示沿动力系统向量场该体积形式被压缩的程度。由于 sigmoid 函数作为激活函数在神经网络模型研究中起作用，对此情形显式计算了该种可压缩性。全文显式使用了信息几何中已知的所谓对偶坐标。
引用
@article{arxiv.1904.12734,
title = {Hessian-information geometric formulation of a class of deterministic neural network models},
author = {Shin-itiro Goto},
journal= {arXiv preprint arXiv:1904.12734},
year = {2019}
}