基于监督对比学习为轻量语言模型注入情感
计算与语言
2023-10-31 v1
摘要
我们提出了一种新颖的改造方法，将情感方面注入到预训练语言模型（PLM），如 BERT 和 RoBERTa 中。我们的方法使用对比学习更新预训练网络权重，使得展现相似情感文本片段在表示空间中编码相近，而具有不同情感内容的片段被推远。在此过程中，它还确保 PLM 中已有的语言知识不会被无意扰动。经我们的方法改造的语言模型，即 BERTEmo 和 RoBERTaEmo，产生了情感感知的文本表示，这通过不同的聚类和检索指标得到评估。在情感分析和讽刺检测的下游任务上，它们比其预训练对应模型（F1 分数约 1% 的提升）及其他现有方法表现更好。此外，在少样本学习设定中，改造模型相较预训练模型观察到更显著的性能提升。
引用
@article{arxiv.2310.18930,
title = {Retrofitting Light-weight Language Models for Emotions using Supervised Contrastive Learning},
author = {Sapan Shah and Sreedhar Reddy and Pushpak Bhattacharyya},
journal= {arXiv preprint arXiv:2310.18930},
year = {2023}
}
备注
EMNLP 2023 Camera Ready Version