Ditto：一种改进句子嵌入的简单高效方法
计算与语言
2023-10-24 v2
摘要
先前研究诊断出来自预训练语言模型（如 BERT）且未经微调的句子表征存在各向异性问题。我们的分析揭示，BERT 的句子嵌入受到偏向无信息词的偏置影响，限制了在语义文本相似度（STS）任务上的表现。为解决该偏置，我们提出一种简单高效的无监督方法——对角注意力池化（Ditto），其以基于模型的重要性估计对词加权，并计算预训练模型词表征的加权平均作为句子嵌入。Ditto 可作为后处理操作轻松应用于任意预训练语言模型。与先前的句子嵌入方法相比，Ditto 不增加参数也无需任何学习。实证评估表明，我们提出的 Ditto 能缓解各向异性问题并改进多种预训练模型在 STS 任务上的表现。
引用
@article{arxiv.2305.10786,
title = {Ditto: A Simple and Efficient Approach to Improve Sentence Embeddings},
author = {Qian Chen and Wen Wang and Qinglin Zhang and Siqi Zheng and Chong Deng and Hai Yu and Jiaqing Liu and Yukun Ma and Chong Zhang},
journal= {arXiv preprint arXiv:2305.10786},
year = {2023}
}
备注
8 pages, accepted by EMNLP 2023 short paper, the source code can be found at https://github.com/alibaba-damo-academy/SpokenNLP/tree/main/ditto