利用结合心理语言学特征的 Transformer 模型提升基于文本的情绪检测的泛化能力
计算与语言
2022-12-20 v1
摘要
近年来，人们对构建预测模型的兴趣日益增加，这些模型利用自然语言处理和机器学习技术从各种文本来源（包括社交媒体帖子、微博或新闻文章）中检测情绪。然而，此类模型在现实世界的情感与情绪应用中的部署面临挑战，尤其是领域外泛化能力差。这可能是由于领域特定的差异（例如，主题、交际目标和标注方案）使得不同情绪识别模型之间的迁移变得困难。在这项工作中，我们提出了基于文本的情绪检测方法，这些方法利用 Transformer 模型（BERT 和 RoBERTa）与在全面的心理语言学特征集上训练的双向长短期记忆（BiLSTM）网络相结合。首先，我们在两个基准数据集 GoEmotion 和 ISEAR 上评估了我们模型的领域内性能。其次，我们在来自统一情绪数据集的六个数据集上进行了迁移学习实验，以评估它们的领域外鲁棒性。我们发现，与标准的基于 Transformer 的方法相比，所提出的混合模型提高了泛化到分布外数据的能力。此外，我们观察到这些模型在领域内数据上表现出具有竞争力的性能。
引用
@article{arxiv.2212.09465,
title = {Improving the Generalizability of Text-Based Emotion Detection by Leveraging Transformers with Psycholinguistic Features},
author = {Sourabh Zanwar and Daniel Wiechmann and Yu Qiao and Elma Kerz},
journal= {arXiv preprint arXiv:2212.09465},
year = {2022}
}
备注
accepted at EMNLP2022