曲率学习以提高双曲神经网络的泛化能力

双曲神经网络（HNNs）通过利用双曲空间几何特性（由负曲率特征）来表示具有层次结构的真实世界数据，已显示出显著的效果。曲率在优化 HNNs 中发挥关键作用。不当的曲率可能导致 HNNs 收敛到次优参数，降低整体性能。迄今为止，尚未发展出曲率对 HNNs 影响的理论基础。在本文中，我们推导了 HNNs 的 PAC-Bayesian 泛化界，突出曲率在 HNNs 泛化中的作用，这种作用通过其对损失景观光滑性的影响。基于推导的界，我们提出了一种锋利度感知曲率学习方法，以平滑损失景观，从而提高 HNNs 的泛化。在我们的方法中，我们设计了曲率的范围锋利度度量，通过双层优化过程来最小化其值。然后，我们引入一种隐式微分算法，高效地求解双层优化，通过近似曲率的梯度来实现。我们呈现了该方法的近似误差和收敛分析，表明近似误差被上界控制，所提方法可通过限制 HNNs 的梯度来收敛。实验在四个设置：分类、从长尾数据学习、从噪声数据学习和少样本学习中表明，我们的方法可以提高 HNNs 的性能。