深度学习作为 Ricci 流
机器学习
2024-04-23 v1 微分几何
摘要
深度神经网络是逼近复杂数据分布的强大工具。已知数据通过训练好的 DNN 分类器时会经历一系列几何和拓扑简化。虽然在理解具有光滑激活函数的神经网络中的这些变换方面已取得一些进展，但在更一般的非光滑激活函数（如修正线性单元 (ReLU)）的设置下，这些函数往往表现更好，还需要进一步理解。这里我们提出，DNN 在分类任务中执行的几何变换与 Hamilton Ricci 流（微分几何中的一种工具，通过平滑曲率来演化流形以识别其拓扑）下的变换具有相似性。为了说明这一想法，我们提出了一个计算框架来量化数据通过 DNN 连续层时发生的几何变化，并利用该框架提出了一种“全局 Ricci 网络流”的概念，可用于评估 DNN 解开复杂数据几何以解决分类问题的能力。通过在合成数据和真实数据上训练超过 1500 个不同宽度和深度的 DNN 分类器，我们表明，对于训练良好的 DNN，全局 Ricci 网络流行为的强度与准确率相关，且与深度、宽度和数据集无关。我们的发现激励使用微分和离散几何工具来解决深度学习中的可解释性问题。
引用
@article{arxiv.2404.14265,
title = {Deep Learning as Ricci Flow},
author = {Anthony Baptista and Alessandro Barp and Tapabrata Chakraborti and Chris Harbron and Ben D. MacArthur and Christopher R. S. Banerji},
journal= {arXiv preprint arXiv:2404.14265},
year = {2024}
}