一种用于层次化表示学习的旋转双曲包裹正态分布
机器学习
2022-10-14 v2
摘要
我们提出一种旋转双曲包裹正态分布（RoWN），它是对双曲包裹正态分布（HWN）简单而有效的改进。HWN 将概率建模的域从欧几里得空间扩展到双曲空间，在理论上树可以以任意低失真嵌入其中。本工作中，我们分析了对角 HWN 的几何性质，这是概率建模中一种标准的分布选择。分析表明，在 Poincaré 圆盘模型中，该分布不适合通过具有相同范数的角距离来表示同一层次级别的数据点。随后我们通过实验验证了 HWN 局限性的存在，并展示了所提分布 RoWN 如何在包括含噪合成二叉树、WordNet 和 Atari 2600 Breakout 在内的多种层次数据集上缓解这些局限。代码可在 https://github.com/ml-postech/RoWN 获取。
引用
@article{arxiv.2205.13371,
title = {A Rotated Hyperbolic Wrapped Normal Distribution for Hierarchical Representation Learning},
author = {Seunghyuk Cho and Juyong Lee and Jaesik Park and Dongwoo Kim},
journal= {arXiv preprint arXiv:2205.13371},
year = {2022}
}
备注
23 pages, Thirty-sixth Conference on Neural Information Processing Systems, 2022