通过三角损失实现受制于流形的句子嵌入：将语义投影到球面、环面和莫比乌斯带
计算与语言
2025-05-02 v1
摘要
近期表征学习的进展强调了嵌入几何在捕捉语义结构方面的作用。传统的句子嵌入通常位于无约束的欧几里得空间中，这可能限制其反映语言中复杂关系的能力。本文引入了一种新框架，将句子嵌入约束到连续流形上——具体为单位球面、环面和莫比乌斯带——并以三角损失作为核心训练目标。通过在输出空间强制微分几何约束，我们的方法鼓励学习既具判别性又具拓扑结构的嵌入。我们在基准数据集（AG News 和 MBTI）上评估了该方法，并与包括 TF-IDF、Word2Vec 和无约束的 Keras 派生嵌入等经典基线方法进行比较。我们的结果表明，尤其是投影到球面和莫比乌斯带上的流形约束嵌入，在聚类质量（Silhouette Score）和分类性能（Accuracy）方面均显著优于传统方法。这些发现凸显了在流形空间中进行嵌入的价值——在那里，拓扑结构补充了语义分离——为 NLP 中的几何表征学习提供了一种新且在数学上有据可取的方向。
引用
@article{arxiv.2505.00014,
title = {Manifold-Constrained Sentence Embeddings via Triplet Loss: Projecting Semantics onto Spheres, Tori, and M\"obius Strips},
author = {Vinit K. Chavan},
journal= {arXiv preprint arXiv:2505.00014},
year = {2025}
}
备注
10 pages, 6 figures. Code available at https://github.com/vinitchavan/manifold-embedding-nlp