池化与语义漂移：长文本嵌入与检索的根本挑战
计算与语言
2026-05-25 v2 信息检索
摘要
基于Transformer的嵌入模型常表现出几何异常，如各向同性和长度导致的表示坍缩，这会降低下游检索性能。虽然先前的工作常将这些问题直接归因于文本长度或注意力机制，但我们认为根本原因实际上是内在的池化操作与语义漂移的共作用。本文构建了一个统一的理论框架，证明语境池化本质上会导致嵌入坍缩。具体而言，我们数学证明，池化语义多样的句子不可避免地导致微观层面的语义稀释，严格降低向量空间的平均两两距离，从而保证宏观层面的空间集中。基于这些几何洞察，我们正式定义语义漂移，以捕捉文本中自然的语义演变和离散。通过对多样模型和语料库上的精心控制实验，我们使文本长度与语义内容脱钩。我们展示，语义漂移是严重嵌入集中的最主要预测因子。关键在于，我们的检索评估表明，各向同性只有在由强语义漂移引起时才是根本有害的，这调和了先前文献中相互矛盾的观察，为现代嵌入模型面对长上下文挑战提供了原则性解释。
引用
@article{arxiv.2603.21437,
title = {Pooling and Semantic Shift: The Fundamental Challenges in Long Text Embedding and Retrieval},
author = {Hang Gao and Wujiang Xu and Kai Mei and Dimitris N. Metaxas},
journal= {arXiv preprint arXiv:2603.21437},
year = {2026}
}