用于人类交际理解的多注意力循环网络
人工智能
2018-02-06 v1 计算与语言
机器学习
摘要
人脸到脸的人际交流是一种复杂的多模态信号。我们使用词语（语言模态）、手势（视觉模态）和音调变化（声学模态）来传达意图。人类轻松处理并理解面对面交流，然而理解这种交流形式对人工智能（AI）仍是一项重大挑战。AI 必须理解每种模态以及塑造人类交流的各模态间交互。在本文中，我们提出了一种用于理解人类交流的新颖神经架构，称为多注意力循环网络（MARN）。我们模型的主要优势在于通过称为多注意力块（MAB）的神经组件随时间发现模态间的交互，并将其存储在称为长短期混合记忆（LSTHM）的循环组件的混合记忆中。我们在六个公开可用的多模态情感分析、说话人特质识别和情绪识别数据集上进行了广泛比较。MARN 在所有数据集上均展现出最先进的性能。
引用
@article{arxiv.1802.00923,
title = {Multi-attention Recurrent Network for Human Communication Comprehension},
author = {Amir Zadeh and Paul Pu Liang and Soujanya Poria and Prateek Vij and Erik Cambria and Louis-Philippe Morency},
journal= {arXiv preprint arXiv:1802.00923},
year = {2018}
}
备注
AAAI 2018 Oral Presentation