基于自监督的非对比句子表示
计算与语言
2023-10-30 v1
摘要
样本对比方法（通常简称为对比方法）是大多数无监督学习文本与句子嵌入方法的基础。另一方面，计算机视觉领域考虑了一类不同的自监督损失函数与方法，并称之为维度对比（dimension contrastive）。在本文中，我们彻底地将这类方法与对比句子嵌入的标准基线 SimCSE 进行了比较。我们发现，使用维度对比目标训练的自监督嵌入可以在下游任务上优于 SimCSE，且不需要辅助损失函数。
引用
@article{arxiv.2310.17690,
title = {Non-contrastive sentence representations via self-supervision},
author = {Marco Farina and Duccio Pappadopulo},
journal= {arXiv preprint arXiv:2310.17690},
year = {2023}
}
备注
Submitted and rejected by EMNLP 2023. Contact the authors for a copy of the "reviews"