SoftMCL：面向细粒度情感感知的软动量对比学习
计算与语言
2024-05-06 v1
摘要
语言模型的预训练捕获通用语言理解,但难以区分特定上下文对特定词汇的情感影响。最近的研究尝试引入对比学习（CL）以实现情感感知式预训练以获取情感信息。然而,这些方法存在两个显著局限性。首先,GPU内存的兼容性常常限制负样本的数量,阻碍学习优质表征。其次,仅使用少量情感极性（如正面、中性、负面）作为硬标签进行监督,会导致所有表征收敛到少数点,从而引发潜在空间坍塌问题。本研究提出一种软动量对比学习（SoftMCL）用于细粒度情感感知式预训练。我们不使用硬标签,而是引入价值评级作为软标签监督,以细粒度度量样本间的情感相似性。所提出的SoftMCL在词汇层面和句子层面上进行,以增强模型学习情感信息的能力。引入动量队列以扩充对比样本,允许存储并利用更多负样本以克服硬件平台的局限性。在四个不同的情感相关任务上进行了大量实验,表明所提出的SoftMCL方法有效且高效。该方法的代码和数据已提供于: https://www.github.com/wangjin0818/SoftMCL/。
引用
@article{arxiv.2405.01827,
title = {SoftMCL: Soft Momentum Contrastive Learning for Fine-grained Sentiment-aware Pre-training},
author = {Jin Wang and Liang-Chih Yu and Xuejie Zhang},
journal= {arXiv preprint arXiv:2405.01827},
year = {2024}
}
备注
Accepted by LREC-COLING 2024