利用知识嵌入注意力增强预训练语言模型以实现细粒度情感识别
计算与语言
2021-08-03 v1 人工智能
摘要
现代情感识别系统仅被训练来识别少量情感，因而无法捕捉人们在日常生活中所经历和表达的广泛情感谱系。为了进行更具共情的交互，未来的 AI 必须执行\textit{细粒度}情感识别，区分更多样化的情感。在此，我们专注于通过将外部知识引入预训练自注意力模型来改进细粒度情感识别。我们提出知识嵌入注意力（Knowledge-Embedded Attention, KEA），利用来自情感词典的知识来增强预训练 ELECTRA 与 BERT 模型的上下文表示。我们的结果与误差分析在多个数据集上优于以往的模型，并且能更好地区分相近易混淆的情感，如 afraid 与 terrified。
引用
@article{arxiv.2108.00194,
title = {Using Knowledge-Embedded Attention to Augment Pre-trained Language Models for Fine-Grained Emotion Recognition},
author = {Varsha Suresh and Desmond C. Ong},
journal= {arXiv preprint arXiv:2108.00194},
year = {2021}
}
备注
Accepted at IEEE Affective Computing and Intelligent Interaction (ACII) 2021