潜树结构双曲神经网络表示的容量界
机器学习
2023-08-21 v1 离散数学
数值分析
神经与进化计算
度量几何
数值分析
摘要
我们研究了具有 ReLU 激活函数的深度双曲神经网络（HNNs）的表示容量。我们首次证明：对于任意 ε>1（其中 ε=1 为最优），HNN 可以将任意有限加权树 ε-等距嵌入到维度 d≥2 且截面曲率 κ<0 的双曲空间中。我们建立了实现该嵌入的 HNN 网络复杂度的严格上界。我们发现，实现图表示的 HNN 的网络复杂度与表示保真度/失真无关。我们将此结果与我们的下界进行对比：当将具有 L>2^d 片叶子的树嵌入到 d 维欧几里得空间时，任何 ReLU 多层感知机（MLP）必须施加的失真我们证明至少为 Ω(L^{1/d})；且该下界与定义 MLP 的深度、宽度以及（可能不连续的）激活函数无关。
引用
@article{arxiv.2308.09250,
title = {Capacity Bounds for Hyperbolic Neural Network Representations of Latent Tree Structures},
author = {Anastasis Kratsios and Ruiyang Hong and Haitz Sáez de Ocáriz Borde},
journal= {arXiv preprint arXiv:2308.09250},
year = {2023}
}
备注
22 Pages + References, 1 Table, 4 Figures