LLM 分类任务不建议使用 Whitening
计算与语言
2024-07-19 v1 人工智能
机器学习
摘要
句子嵌入是 NLP 的基石。有人声称 Whitening 可有效提高从大型语言模型（LLMs）获取的嵌入质量。然而，我们发现 Whitening 的效果取决于模型和任务。特别是，Whitening 会退化分类任务的嵌入。该结论得到广泛实验的支持。我们还探索了各种 Whitening 操作，包括 PCA、ZCA、PCA-Cor、ZCA-Cor 和 Cholesky Whitening。我们研究的一个副产品是面向 LLMs 的嵌入评估平台，称为 SentEval+。
引用
@article{arxiv.2407.12886,
title = {Whitening Not Recommended for Classification Tasks in LLMs},
author = {Ali Forooghi and Shaghayegh Sadeghi and Jianguo Lu},
journal= {arXiv preprint arXiv:2407.12886},
year = {2024}
}