用于异步双视图序列学习的双记忆神经计算机

多视图学习的核心任务之一是捕捉视图间关系。对于序列数据，这些关系不仅跨越视图，还沿视图长度延伸，形成长期的视图内与视图间交互。本文提出一种新的记忆增强神经网络模型，旨在对两个异步序列视图间的这些复杂交互建模。我们的模型使用两个编码器从两个外部记忆中读取和写入，以编码输入视图。在编码过程中，利用记忆捕捉视图内交互与长期依赖。我们的系统有两种记忆访问模式：晚期融合与早期融合，分别对应晚期与早期的视图间交互。在晚期融合模式下，两个记忆分离，仅含特定视图内容。在早期融合模式下，两个记忆共享同一寻址空间，允许跨记忆访问。两种情况下，记忆中的知识均由解码器组合，以在输出空间上作出预测。所得到的双记忆神经计算机在一系列综合实验中得到验证，包括求和两序列的合成任务，以及医疗中的药物处方与疾病进展任务。结果表明，其相对于专为多视图问题设计的传统算法与深度学习方法均具竞争力。