句子嵌入的稀疏对比学习
计算与语言
2023-11-08 v1
摘要
近来，SimCSE 展示了对比学习在训练句子嵌入中的可行性，并阐明了其在展开对齐且均匀的嵌入空间方面的表现力。然而，先前研究表明稠密模型可能含有影响模型性能的有害参数，难怪 SimCSE 也可能带有此类参数。受此驱动，我们应用参数稀疏化，其中使用对齐和均匀性分数来衡量每个参数对句子嵌入整体质量的贡献。从初步研究出发，我们认为贡献极小的参数为有害参数，因为其稀疏化带来了模型性能的提升。为探讨有害参数的普遍性并移除它们，我们在标准语义文本相似度（STS）任务和迁移学习任务上进行了更多实验，结果表明所提出的稀疏化 SimCSE（SparseCSE）相比 SimCSE 具有优异性能。此外，通过深入分析，我们确立了稀疏化方法的有效性与稳定性，展示出 SparseCSE 生成的嵌入空间相比 SimCSE 生成的具有更好的对齐性。重要的是，均匀性却未受损害。
引用
@article{arxiv.2311.03881,
title = {Sparse Contrastive Learning of Sentence Embeddings},
author = {Ruize An and Chen Zhang and Dawei Song},
journal= {arXiv preprint arXiv:2311.03881},
year = {2023}
}
备注
9 pages, 5 figures