为什么双曲神经网络有效？基于层级表示能力的研究
机器学习
2024-02-06 v1 人工智能
摘要
双曲神经网络（HNNs）在双曲空间中运行，近年来得到了广泛应用，其动机是双曲空间中存在最优嵌入，能够比欧几里得空间更准确地保留数据的层级关系（称为层级表示能力，HRC）。然而，没有证据表明 HNNs 能够实现这种理论上的最优嵌入，导致许多研究建立在有缺陷的动机之上。在本文中，我们提出了一个评估 HRC 的基准，并通过大规模实验全面分析了 HNNs 有效的原理。受分析结果启发，我们提出了几种预训练策略来增强 HRC 并改善下游任务的性能，进一步验证了分析的可靠性。实验表明，HNNs 无法实现理论上的最优嵌入。HRC 受到优化目标和层级结构的显著影响，通过预训练策略增强 HRC 可以显著提升 HNNs 的性能。
引用
@article{arxiv.2402.02478,
title = {Why are hyperbolic neural networks effective? A study on hierarchical representation capability},
author = {Shicheng Tan and Huanjing Zhao and Shu Zhao and Yanping Zhang},
journal= {arXiv preprint arXiv:2402.02478},
year = {2024}
}