层次化 Mamba 邂逅双曲几何：结构化语言嵌入的新范式
计算与语言
2025-12-08 v3 机器学习
摘要
选择性状态空间模型在长序列建模方面表现出色，但它们在复杂层次化推理中的语言表示能力仍未被充分探索。大多数大型语言模型依赖\textit{扁平}欧几里得嵌入，限制了其捕获潜在层次的能力。为了解决这一问题，我们提出了 {\it Hierarchical Mamba (HiM)}，将高效的 Mamba2 与双曲几何相结合，以学习层次感知的语言嵌入，从而实现更深层的语言理解。经 Mamba2 处理的序列被投影到具有“可学习”曲率的 Poincar\'e 球或 Lorentzian 流形上，并使用双曲损失进行优化。我们的 HiM 模型有助于捕获不同层次级别间的关联距离，从而在层次分类中的混合跳预测和多跳推理等任务中实现有效的长程推理。实验结果表明，两种 HiM 变体都能在四个语言学和医学数据集上有效捕获层次关系，超越了欧几里得基线，其中 HiM-Poincar\'e 通过更高的 h-norm 提供了细粒度的区分，而 HiM-Lorentz 则提供了更稳定、紧凑且保持层次的嵌入，从而有利于鲁棒性。源代码已在 https://github.com/BerryByte/HiM 公开发布。
引用
@article{arxiv.2505.18973,
title = {Hierarchical Mamba Meets Hyperbolic Geometry: A New Paradigm for Structured Language Embeddings},
author = {Sarang Patil and Ashish Parmanand Pandey and Ioannis Koutis and Mengjia Xu},
journal= {arXiv preprint arXiv:2505.18973},
year = {2025}
}
备注
10 pages, 3 figures