面向情感分析的感知情感的词级与句级预训练
计算与语言
2022-10-20 v2
摘要
大多数现有的预训练语言表示模型（PLMs）在情感分析任务中并非最优，因为它们从词级捕获情感信息，却较少考虑句级信息。本文提出 SentiWSP，一种结合词级与句级预训练任务的新型感知情感预训练语言模型。词级预训练任务通过生成器-判别器框架检测被替换的情感词，以增强 PLM 对情感词的知识。句级预训练任务进一步通过对比学习框架，以相似句子作为负样本，强化判别器对句子中情感的编码。大量实验结果表明，SentiWSP 在各种句级和方面级情感分类基准上取得了新的 SOTA 性能。我们已在 https://github.com/XMUDM/SentiWSP 公开代码与模型。
引用
@article{arxiv.2210.09803,
title = {Sentiment-Aware Word and Sentence Level Pre-training for Sentiment Analysis},
author = {Shuai Fan and Chen Lin and Haonan Li and Zhenghao Lin and Jinsong Su and Hang Zhang and Yeyun Gong and Jian Guo and Nan Duan},
journal= {arXiv preprint arXiv:2210.09803},
year = {2022}
}
备注
Accepted to EMNLP 2022