DenoSent：一种用于自监督句子表示学习的去噪目标
计算与语言
2024-01-25 v1
摘要
基于对比学习的方法在句子表示学习中占据主导地位。这些方法通过拉近相似句子表示、推远不相似句子表示来正则化表示空间，并已在各种自然语言处理（NLP）任务中被证明有效，例如语义文本相似度（STS）任务。然而，这些方法仅从句间视角学习，即其监督信号来自数据样本之间的关系，因此学习细粒度语义具有挑战性。在这项工作中，我们提出了一种新颖的去噪目标，它继承自另一个视角，即句内视角。通过引入离散和连续噪声，我们生成含噪句子，然后训练模型将其恢复为原始形式。我们的实证评估表明，该方法在语义文本相似度（STS）和广泛的迁移任务上均取得了有竞争力的结果，与基于对比学习的方法相比表现良好。值得注意的是，所提出的句内去噪目标补充了现有的句间对比方法，并且可以与之结合以进一步提升性能。我们的代码可在 https://github.com/xinghaow99/DenoSent 获取。
引用
@article{arxiv.2401.13621,
title = {DenoSent: A Denoising Objective for Self-Supervised Sentence Representation Learning},
author = {Xinghao Wang and Junliang He and Pengyu Wang and Yunhua Zhou and Tianxiang Sun and Xipeng Qiu},
journal= {arXiv preprint arXiv:2401.13621},
year = {2024}
}
备注
AAAI 2024