多模态对话中的情感与意图联合理解：一个基准数据集

情感与意图联合理解在多模态对话 (MC-EIU) 中旨在解码多模态对话历史中表现为语义信息的内容，同时推断当前话语的情感和意图。MC-EIU 是许多人机界面所需的技术。然而，现有数据集在标注、模态、语言多样性和可获取性方面存在不足。在本工作中，我们提出了一个 MC-EIU 数据集，包含 7 个情感类别、9 个意图类别、3 种模态（即文本、声学和视觉内容）以及两种语言（即英语和普通话）。此外，该数据集完全开源，免费公开访问。据我们了解，MC-EIU 是第一个综合且富有成分的多模态对话情感与意图联合理解数据集。随着数据集的发布，我们还开发了一个情感与意图交互 (EI$^2$) 网络作为参考系统，通过建模情感与意图在多模态对话中的深层关联。通过比较实验和消融研究，我们展示了在 MC-EIU 数据集上所提出 EI$^2$ 方法的有效性。该数据集和代码将在：https://github.com/MC-EIU/MC-EIU 公开。