基于循环多阶段融合的多模态语言分析
机器学习
2018-08-14 v1 人工智能
计算与语言
神经与进化计算
机器学习
摘要
人类多模态语言的计算机建模是自然语言处理中一个新兴的研究领域，横跨语言、视觉与声学模态。理解多模态语言不仅需要建模各模态内的交互（模态内交互），更重要的是模态间的交互（跨模态交互）。本文提出循环多阶段融合网络（RMFN），将融合问题分解为多个阶段，每个阶段专注于多模态信号的子集以实现专门、有效的融合。跨模态交互使用这种建立在前一阶段中间表示之上的多阶段融合方法建模。时间性与模态内交互通过将我们提出的融合方法与循环神经网络系统集成来建模。RMFN 在涉及多模态情感分析、情绪识别和说话人特质识别的三个公开数据集上展现出建模人类多模态语言的 SOTA 性能。我们提供可视化以表明每个融合阶段专注于不同的多模态信号子集，学习到判别性越来越强的多模态表示。
引用
@article{arxiv.1808.03920,
title = {Multimodal Language Analysis with Recurrent Multistage Fusion},
author = {Paul Pu Liang and Ziyin Liu and Amir Zadeh and Louis-Philippe Morency},
journal= {arXiv preprint arXiv:1808.03920},
year = {2018}
}
备注
EMNLP 2018