GCNet：用于对话中不完整多模态学习的图补全网络
机器学习
2023-01-05 v2 计算与语言
摘要
对话已成为社交媒体平台上的一种关键数据格式。由于其在人机交互中的广泛应用，从情感、内容等方面理解对话也吸引了研究者越来越多的关注。在真实世界环境中，我们经常遇到模态不完整的问题，这已成为对话理解的核心问题。为解决这个问题，研究者提出了各种方法。然而，现有方法主要针对单个话语而非对话数据设计，无法充分利用对话中的时间和说话人信息。为此，我们提出了一种用于对话中不完整多模态学习的新框架，称为“图补全网络（GCNet）”，填补了现有工作的空白。我们的 GCNet 包含两个精心设计的基于图神经网络的模块，“说话人 GNN”和“时间 GNN”，以捕获时间和说话人依赖关系。为充分利用完整与不完整数据，我们以端到端方式联合优化分类与重构任务。为验证方法的有效性，我们在三个基准对话数据集上进行了实验。实验结果表明，我们的 GCNet 在不完整多模态学习中优于现有的最先进方法。代码可在 https://github.com/zeroQiaoba/GCNet 获取。
引用
@article{arxiv.2203.02177,
title = {GCNet: Graph Completion Network for Incomplete Multimodal Learning in Conversation},
author = {Zheng Lian and Lan Chen and Licai Sun and Bin Liu and Jianhua Tao},
journal= {arXiv preprint arXiv:2203.02177},
year = {2023}
}