揭示数值理解差距：文本嵌入模型的实证研究
计算与语言
2025-09-09 v1 人工智能
摘要
文本嵌入模型在自然语言处理应用中广泛使用，但其能力往往在不要求理解文本中细微数值信息的任务上进行基准测试。因此，当前嵌入模型是否能够准确地将数值内容（如数字）编码到嵌入向量中仍不明确。这一问题至关重要，因为嵌入模型正越来越多地被应用于数字至关重要的领域，如金融和医疗保健领域。例如，公司X的市场份额增长了2%，与公司X的市场份额增长了20%应被严格区分，尽管两者都表示市场份额的增长。本研究旨在检验文本嵌入模型是否能够捕捉此类细微差异。我们使用金融语境下的合成数据，对13种广泛使用的文本嵌入模型进行评估，发现它们通常在准确捕捉数值细节方面存在困难。我们的进一步分析提供了关于嵌入数值理解的更深入见解，为未来研究提供了指导，以增强基于嵌入模型的NLP系统在处理数值内容方面的能力。
引用
@article{arxiv.2509.05691,
title = {Revealing the Numeracy Gap: An Empirical Investigation of Text Embedding Models},
author = {Ningyuan Deng and Hanyu Duan and Yixuan Tang and Yi Yang},
journal= {arXiv preprint arXiv:2509.05691},
year = {2025}
}