离散事件、连续时间 RNN
神经与进化计算
2017-10-12 v1 机器学习
摘要
我们研究了用于事件序列处理的循环神经网络架构。事件序列以带有连续值发生时间的离散观测为特征，由于相关时间尺度的潜在宽动态范围以及时间尺度之间的相互作用，其处理具有挑战性。我们描述了四种应有利于事件序列架构的归纳偏置形式：时间局部性、位置与尺度齐次性，以及尺度相互依赖性。我们扩展了流行的门控循环单元（GRU）架构，通过内在时间动力学融入这些偏置，得到了连续时间 GRU。CT-GRU 的产生是通过将 GRU 的门解释为选择记忆的时间尺度，并且 CT-GRU 通过纳入多种记忆时间尺度并执行用于信息存储与检索的时间尺度上下文相关选择来泛化 GRU。事件时间戳驱动 CT-GRU 的衰减动力学，而它们在 GRU 中仅作为常规的额外输入。尽管这两个模型考虑时间的方式截然不同，但它们在我们检查的十一个数据集上的性能基本相同。我们令人惊讶的结果既指出了 GRU 和 LSTM 架构在处理连续时间方面的鲁棒性，也指出了将连续动力学纳入神经架构的有效性。
引用
@article{arxiv.1710.04110,
title = {Discrete Event, Continuous Time RNNs},
author = {Michael C. Mozer and Denis Kazakov and Robert V. Lindsey},
journal= {arXiv preprint arXiv:1710.04110},
year = {2017}
}
备注
21 pages