随机删除文本嵌入的50%维度对检索和分类任务影响甚微
机器学习
2025-10-08 v2
摘要
本文研究了截断文本嵌入对下游性能产生的惊人影响。我们在6个最先进的文本编码器和26个下游任务上持续观察到，随机删除最多50%的嵌入维度仅导致性能轻微下降，降幅不足10%，在检索和分类任务中表现出显著的鲁棒性。鉴于使用较小尺寸嵌入的优势以及对文本编码所需的洞见，本文针对该现象进行了研究，并发现与先前工作所暗示的不同，这并非源于表示空间的无效利用。相反，我们发现大量均匀分布的维度实际上会导致性能提升。这解释了为何在平均情况下删除大量嵌入维度仍仅导致性能轻微下降的现象。我们在使用大型语言模型进行生成任务下一词预测时也观察到了类似现象，表明该现象不仅限于分类或检索任务。
引用
@article{arxiv.2508.17744,
title = {Randomly Removing 50% of Dimensions in Text Embeddings has Minimal Impact on Retrieval and Classification Tasks},
author = {Sotaro Takeshita and Yurina Takeshita and Daniel Ruffinelli and Simone Paolo Ponzetto},
journal= {arXiv preprint arXiv:2508.17744},
year = {2025}
}
备注
Accepted to EMNLP 2025 Main Conference (Oral), camera-ready version