评估预训练句向量的无监督降维方法
计算与语言
2024-03-22 v1
摘要
由预训练语言模型（PLM）生成的句向量因其在众多下游应用中表示文本时的卓越性能而受到 NLP 社区的广泛关注。然而，PLM 生成的句向量维度较高，在内存或计算受限的设备中表示大量句子时存在问题。作为解决方案，我们评估了无监督降维方法，以降低 PLM 生成的句向量的维度。我们的实验结果表明，主成分分析（PCA）等简单方法可将句向量维度降低近 ，同时在多个下游任务中不会产生显著的性能损失。令人惊讶的是，对于某些 PLM 在某些任务中生成的句向量，降低维度甚至比原始高维版本取得了更好的性能。
引用
@article{arxiv.2403.14001,
title = {Evaluating Unsupervised Dimensionality Reduction Methods for Pretrained Sentence Embeddings},
author = {Gaifan Zhang and Yi Zhou and Danushka Bollegala},
journal= {arXiv preprint arXiv:2403.14001},
year = {2024}
}