WhiteningBERT：一种简单的无监督句子嵌入方法
计算与语言
2021-04-12 v3
摘要
以无监督方式生成句子嵌入，对实际的自然语言匹配与检索问题具有重要价值。在本工作中，我们对基于预训练模型的无监督句子嵌入进行了深入考察。我们研究了四种预训练模型，并在七个关于句子语义的数据集上进行了大量实验。我们有三个主要发现。第一，对所有词元取平均优于仅使用 [CLS] 向量。第二，结合顶层与底层优于仅使用顶层。最后，一种基于白化（whitening）的向量归一化策略，代码不到 10 行，能一致地提升性能。
引用
@article{arxiv.2104.01767,
title = {WhiteningBERT: An Easy Unsupervised Sentence Embedding Approach},
author = {Junjie Huang and Duyu Tang and Wanjun Zhong and Shuai Lu and Linjun Shou and Ming Gong and Daxin Jiang and Nan Duan},
journal= {arXiv preprint arXiv:2104.01767},
year = {2021}
}