HNCSE：通过结合困难负样本的混合对比学习推进句子表示
计算与语言
2024-11-20 v1 人工智能
摘要
无监督句子表示学习仍然是现代自然语言处理（NLP）研究中的一个关键挑战。近期，对比学习技术通过有效捕捉文本语义在解决这一问题上取得了显著成功。许多此类方法优先使用负样本进行优化。在计算机视觉等领域，困难负样本（靠近决策边界因此更难区分的样本）已被证明能增强表示学习。然而，由于文本复杂的句法和语义细节，将困难负样本适应于对比句子学习十分复杂。为解决这一问题，我们提出了 HNCSE，一种扩展了领先的 SimCSE 方法的新型对比学习框架。HNCSE 的标志是其创新性地使用困难负样本来增强正样本和负样本的学习，从而实现更深层的语义理解。在语义文本相似性和迁移任务数据集上的实证测试验证了 HNCSE 的优越性。
引用
@article{arxiv.2411.12156,
title = {HNCSE: Advancing Sentence Embeddings via Hybrid Contrastive Learning with Hard Negatives},
author = {Wenxiao Liu and Zihong Yang and Chaozhuo Li and Zijin Hong and Jianfeng Ma and Zhiquan Liu and Litian Zhang and Feiran Huang},
journal= {arXiv preprint arXiv:2411.12156},
year = {2024}
}