内在洛伦兹神经网络

现实数据经常表现出潜在的层次结构，这些结构可以自然地用双曲几何来表示。尽管最近的双曲神经网络已显示出前景，但许多现有架构仍是部分内在的，或者混合了欧几里得运算和双曲运算，或依赖外在参数化。在此基础上，我们提出了一种全内在的双曲架构——内在洛伦兹神经网络（ILNN），该网络在洛伦兹模型内部进行所有计算。其核心是引入一种新的点到超平面完全连接层（FC），用特征到所学洛伦兹超平面的闭形式双曲距离取代传统的欧几里得仿射得分，从而确保所生成的几何决策函数尊重内在曲率。在这一基本层之上，我们设计了内在模块：GyroLBN，这一洛伦兹批归一化方法将 gyro 归中化与 gyro 比例化耦合， consistently 优于 LBN 和 GyroBN，同时缩短训练时间。我们还提出了用于 FC 输出的 gyro 加法偏置、一种通过 digamma 基准对齐特征块预期对数半径的洛伦兹 patch 拼接算子，以及洛伦兹 dropout 层。在 CIFAR-10/100 和两个基准基因组数据集（TEB 和 GUE）上的大量实验表明，ILNN 在双曲模型中实现了最先进的性能和计算成本， consistently 优于强大的欧几里得基线。代码可在 \href{https://github.com/Longchentong/ILNN}{\textcolor{magenta}{this url}} 获取。