用于话语级情感识别的层次化 Transformer 网络
计算与语言
2020-02-19 v1 机器学习
声音
音频与语音处理
摘要
尽管在文本情感检测方面已取得显著进展，在话语级情感识别（ULER）领域仍有许多问题有待解决。本文中，我们探讨对话系统中 ULER 的一些挑战。（1）同一话语在不同上下文或来自不同说话者时可传达不同情感。（2）长距离上下文信息难以有效捕捉。（3）不同于传统文本分类问题，该任务所依赖的数据集数量有限，其中大多数包含不充分的对话或语音。为解决这些问题，我们提出一种层次化 transformer 框架（除其他研究的描述外，本文中的“transformer”通常指 transformer 的编码器部分），其包含底层 transformer 以建模词级输入，以及上层 transformer 以捕捉话语级嵌入的上下文。我们使用预训练语言模型 bidirectional encoder representations from transformers (BERT) 作为底层 transformer，这相当于将外部数据引入模型，并在一定程度上解决了数据匮乏问题。此外，我们首次将说话者嵌入加入模型，使我们的模型能够捕捉说话者之间的交互。在三个对话情感数据集 Friends、EmotionPush 和 EmoryNLP 上的实验表明，我们提出的层次化 transformer 网络模型在 macro-F1 上分别比各数据集上的 SOTA 方法提升了 1.98%、2.83% 和 3.94%。
引用
@article{arxiv.2002.07551,
title = {Hierarchical Transformer Network for Utterance-level Emotion Recognition},
author = {QingBiao Li and ChunHua Wu and KangFeng Zheng and Zhe Wang},
journal= {arXiv preprint arXiv:2002.07551},
year = {2020}
}
备注
7 pages