用于句子对评分任务的批softmax对比损失
计算与语言
2021-11-01 v1 人工智能
信息检索
机器学习
神经与进化计算
摘要
对比损失用于表征学习在计算机视觉中已变得突出，如今在自然语言处理（NLP）中也受到关注。在此，我们探索在微调大规模预训练 transformer 模型时使用批softmax对比损失的思想，以学习面向句子对评分任务的更好特定任务句子嵌入。我们引入并研究了损失计算以及整体训练流程中的若干变体；特别地，我们发现数据打乱可能相当重要。我们的实验结果显示在包括分类、排序和回归在内的多个数据集和句子对评分任务上有可观提升。最后，我们提供详细的分析与讨论，应有助于旨在探索 NLP 中对比损失效用的研究人员。
引用
@article{arxiv.2110.15725,
title = {Batch-Softmax Contrastive Loss for Pairwise Sentence Scoring Tasks},
author = {Anton Chernyavskiy and Dmitry Ilvovsky and Pavel Kalinin and Preslav Nakov},
journal= {arXiv preprint arXiv:2110.15725},
year = {2021}
}
备注
batch-softmax contrastive loss, pairwise sentence scoring, classification, ranking, and regression