面向多模态数据抽象：多时间尺度循环模型的实证研究
神经与进化计算
2017-02-20 v1
摘要
抽象任务对于多模态序列而言具有挑战性，因为它们需要对数据进行更深层次的语义理解和新颖的文本生成。尽管循环神经网络（RNN）可用于对时间序列的上下文建模，但在大多数情况下，多模态数据的长期依赖使得RNN的随时间反向传播训练倾向于在时间域中消失。最近，受多时间尺度循环神经网络（MTRNN）启发，提出了一种门控循环单元（GRU）的扩展，称为多时间尺度门控循环单元（MTGRU），用于学习自然语言处理中的长期依赖。特别地，在时间常数定义良好的情况下，它也能够完成段落的抽象任务。在本文中，我们从学习性能以及它们在更高层次（具有较慢神经激活）上的抽象表示方面比较了MTRNN和MTGRU。这是通过基于较小数据集（来自非线性函数的二维时间序列）和相对较大的数据集（来自iCub操作任务的多模态数据的43维时间序列）进行两项研究完成的。我们得出结论，门控循环机制对于学习大维度多模态数据集（例如机器人操作学习）中的长期依赖可能是必要的，即使不涉及自然语言命令。但对于具有简单时间序列的较小学习任务，通用版本的循环模型（如MTRNN）足以完成抽象任务。
引用
@article{arxiv.1702.05441,
title = {Toward Abstraction from Multi-modal Data: Empirical Studies on Multiple Time-scale Recurrent Models},
author = {Junpei Zhong and Angelo Cangelosi and Tetsuya Ogata},
journal= {arXiv preprint arXiv:1702.05441},
year = {2017}
}
备注
Accepted by IJCNN 2017