基于 Transformer 的情感检测:一项对比研究

在本研究中,我们探索了基于 Transformer 的模型在文本数据情感分类任务中的应用。我们使用不同的 Transformer 变体,在 Emotion 数据集上训练并评估了若干预训练 Transformer 模型。本文还分析了影响模型性能的一些因素,例如 Transformer 层的微调、层的可训练性以及文本数据的预处理。我们的分析表明,诸如去除标点符号和停用词等常用技术可能会妨碍模型性能。这可能是因为 Transformer 的优势在于理解文本中的上下文关系,而标点符号和停用词等元素仍然可以传达情感或强调,去除它们可能会破坏这种上下文。