吞 swallow 不成 summer：理解嵌入空间中的语义结构
人工智能
2025-12-02 v1 计算与语言
机器学习
摘要
嵌入空间是现代人工智能的基础，通过将原始数据转换为高维向量来编码丰富的语义关系。然而，这些内部结构仍不透明，现有方法往往为结构规则性或可解释性牺牲语义一致性，或因提高可解释性而产生高计算开销。为此，我们提出语义场子空间（Semantic Field Subspace, SFS），这是一种保留几何、上下文感知的表示，捕捉嵌入空间中局部语义邻域。我们还提出 SAFARI（SemAntic Field subspAce deteRmInation），这是一种无监督、模态无关的算法，使用新开发的度量——语义位移（Semantic Shift），来量化 SFS 如何演化时的语义演变。为保证可扩展性，我们开发了语义位移的高效近似方法，用以取代昂贵的 SVD 计算，实现 15~30 倍的加速，平均误差低于 0.01。广泛的在六个真实世界文本和图像数据集上的评估表明，SFS 在分类任务中超越标准分类器，亦在政治偏见检测等细粒度任务中表现出色，而 SAFARI 能持续揭示可解释且可泛化的语义层次结构。这项工作为结构化、分析和扩展嵌入空间中的语义理解提供了一个统一框架。
引用
@article{arxiv.2512.00852,
title = {One Swallow Does Not Make a Summer: Understanding Semantic Structures in Embedding Spaces},
author = {Yandong Sun and Qiang Huang and Ziwei Xu and Yiqun Sun and Yixuan Tang and Anthony K. H. Tung},
journal= {arXiv preprint arXiv:2512.00852},
year = {2025}
}