双曲序嵌入的泛化误差界
机器学习
2021-05-24 v1
摘要
双曲序嵌入（HOE）将实体表示为双曲空间中的点，使其尽可能与给定约束（实体 i 比实体 k 更相似于实体 j）一致。实验已表明，得益于双曲空间的指数增长特性，HOE 能有效获得层次数据（如知识库与引文网络）的表示。然而，其理论分析仅限于理想无噪设定，且尚未保证其相对于双曲空间指数表示能力的泛化误差。难点在于，现有基于 Gram 矩阵的序嵌入泛化误差界推导在 HOE 中失效，因为双曲空间不是内积空间。本文通过对 HOE 采用分解 Lorentz Gram 矩阵的新表征，首次给出 HOE 的泛化误差界，该界关于嵌入空间半径至多是指数级的。我们对 HOE 与欧氏序嵌入的误差界比较表明，HOE 的泛化误差作为对其指数表示能力所付的代价是合理的。
引用
@article{arxiv.2105.10475,
title = {Generalization Error Bound for Hyperbolic Ordinal Embedding},
author = {Atsushi Suzuki and Atsushi Nitanda and Jing Wang and Linchuan Xu and Marc Cavazza and Kenji Yamanishi},
journal= {arXiv preprint arXiv:2105.10475},
year = {2021}
}