DialogXL：用于多方对话情感识别的一体化XLNet模型
计算与语言
2020-12-17 v1 人工智能
信息检索
机器学习
摘要
本文介绍了我们利用预训练语言模型进行对话情感识别（ERC）的开拓性工作。与常规文档不同，对话话语由不同参与方交替出现，且在以往工作中通常组织为层次化结构。此类结构不利于XLNet等预训练语言模型的应用。为解决该问题，我们提出一种一体化XLNet模型，即DialogXL，其具有增强记忆以存储更长历史上下文，以及对话感知自注意力以处理多方结构。具体而言，我们首先将XLNet的循环机制从片段级修改为话语级，以更好地建模对话数据。其次，我们引入对话感知自注意力替代XLNet中的原始自注意力，以捕获有用的说话人内部与说话人之间的依赖关系。我们在四个ERC基准上进行了大量实验，并与主流模型进行比较。实验结果表明，所提模型在所有数据集上均优于基线。我们还进行了消融研究与错误分析等其他实验，结果证实了DialogXL关键模块的作用。
引用
@article{arxiv.2012.08695,
title = {DialogXL: All-in-One XLNet for Multi-Party Conversation Emotion Recognition},
author = {Weizhou Shen and Junqing Chen and Xiaojun Quan and Zhixian Xie},
journal= {arXiv preprint arXiv:2012.08695},
year = {2020}
}
备注
Accepted by AAAI 2021 main conference