文本价值若几令牌：文本嵌入从 LLM 隐式地与关键令牌对齐
计算与语言
2025-07-08 v4 信息检索
摘要
大型语言模型（LLM）生成的文本嵌入在信息检索、语义文本相似性等任务中取得了优异的效果。在本工作中，我们发现了一个有趣的现象：当将文本输入 LLM 嵌入器时，所得文本嵌入能够与输入文本中的关键令牌对齐。我们首先在八个基于 LLM 的嵌入器上对此现象进行彻底分析，表明该现象是普遍的，且不受模型架构、训练策略和嵌入方法的影响。通过深入分析，我们发现这些嵌入器与其 LLM 主干模型之间的嵌入空间的主要变化发生在第一个主成分上。通过调整第一个主成分，我们可以将文本嵌入与关键令牌对齐。最后，我们给出了几个示例，说明这一发现具有广泛的应用潜力：（1）我们提出了一种基于对齐令牌的简单且实用的稀疏检索方法，能够在计算开销大幅降低的情况下，实现与相同模型的稠密检索效果的 80%；（2）我们表明我们的发现为理解新兴技术（如遵循指令嵌入）以及模糊概念（如语义相关性与相似性）提供了新的视角。
引用
@article{arxiv.2406.17378,
title = {A Text is Worth Several Tokens: Text Embedding from LLMs Secretly Aligns Well with The Key Tokens},
author = {Zhijie Nie and Richong Zhang and Zhanyu Wu},
journal= {arXiv preprint arXiv:2406.17378},
year = {2025}
}
备注
ACL2025 Oral