深度神经网络的奇异黎曼几何方法 III：分段可微层与$n$维类上的随机游走
微分几何
2024-04-10 v1 机器学习
摘要
神经网络在日常生活中发挥着关键作用，最现代的生成模型能够取得令人印象深刻的结果。尽管如此，其运作机制仍不十分清楚，人们采用了多种策略来研究这些模型如何以及为何达到其输出。一种常见方法是在欧几里得设置中考虑数据：然而近年来，这一范式发生了转变，转向更一般的框架，即黎曼几何。最近的两项工作引入了一个利用奇异黎曼度量研究神经网络的几何框架。本文将这些结果扩展到卷积神经网络、残差神经网络和递归神经网络，并研究了非可微激活函数（如ReLU）的情况。我们通过一些图像分类和热力学问题的数值实验说明了我们的发现。
引用
@article{arxiv.2404.06104,
title = {A singular Riemannian Geometry Approach to Deep Neural Networks III. Piecewise Differentiable Layers and Random Walks on $n$-dimensional Classes},
author = {Alessandro Benfenati and Alessio Marta},
journal= {arXiv preprint arXiv:2404.06104},
year = {2024}
}