双曲残差量化：面向具有潜在层次结构数据的离散表示
机器学习
2025-05-20 v1 人工智能
摘要
层次数据出现在无数领域中，从生物分类学和组织结构图到法律代码和知识图谱。残差量化（RQ）通过在多层码本中迭代量化残差，被广泛用于为此类数据生成离散的多标记表示。然而，它对欧几里得几何的依赖可能引入根本性的不匹配，阻碍对层次分支的建模，而这对忠实表示层次数据是必要的。在这项工作中，我们提出了双曲残差量化（HRQ），它将数据原生地嵌入到双曲流形中，并使用双曲运算和距离度量执行残差量化。通过使嵌入网络、残差计算和距离度量适应双曲几何，HRQ 赋予了一种与层次分支自然对齐的归纳偏置。我们声称，与 RQ 相比，HRQ 可以为具有潜在层次结构的数据生成对下游任务更有用的离散层次表示。我们在两个任务上评估 HRQ：使用 WordNet 上位词树进行监督层次建模，其中模型被监督以学习潜在层次结构；以及层次发现，其中虽然数据中存在潜在层次结构，但模型并未直接在与该层次结构相关的任务上进行训练或评估。在这两种场景下，与欧几里得 RQ 相比，HRQ 层次标记在下游任务上均取得了更好的性能，在层次建模任务上增益高达 20%。我们的结果表明，将双曲几何集成到离散表示学习中，显著增强了捕获潜在层次结构的能力。
引用
@article{arxiv.2505.12404,
title = {Hyperbolic Residual Quantization: Discrete Representations for Data with Latent Hierarchies},
author = {Piotr Piękos and Subhradeep Kayal and Alexandros Karatzoglou},
journal= {arXiv preprint arXiv:2505.12404},
year = {2025}
}