面向多视图序列学习的记忆融合网络
机器学习
2018-02-06 v1 人工智能
摘要
多视图序列学习是机器学习中处理多视图序列的基本问题。在多视图序列中,不同视图之间存在两种交互形式:视图内交互和跨视图交互。本文提出了一种用于多视图序列学习的新神经架构,称为记忆融合网络(Memory Fusion Network, MFN),其在神经架构中显式地建模这两种交互,并随时间持续建模。MFN 的第一个组件称为 LSTM 系统,其中通过为每个视图分配一个 LSTM 函数来孤立地学习视图内交互。随后使用一种称为 Delta-memory 注意力网络(DMAN)的特殊注意力机制识别跨视图交互,并通过多视图门控记忆随时间进行汇总。通过大量实验,MFN 在多个公开可用的基准数据集上与各种已有的多视图序列学习方法进行比较。MFN 优于所有现有的多视图方法。此外,MFN 优于当前所有 SOTA 模型,为这些多视图数据集树立了新的 SOTA 结果。
引用
@article{arxiv.1802.00927,
title = {Memory Fusion Network for Multi-view Sequential Learning},
author = {Amir Zadeh and Paul Pu Liang and Navonil Mazumder and Soujanya Poria and Erik Cambria and Louis-Philippe Morency},
journal= {arXiv preprint arXiv:1802.00927},
year = {2018}
}
备注
AAAI 2018 Oral Presentation