任务同步循环神经网络
摘要
数据常在时间上非均匀采样。使用循环神经网络（RNN）处理此问题时，传统做法包括忽略该事实、将时间差作为附加输入馈入，或对数据重采样。这些方法均有其缺陷。我们提出一种优雅直接的替代方案：实质上对RNN进行时间重采样以匹配数据或当前任务的时间。我们以回声状态网络（ESN）与门控循环单元（GRU）作为解决方案的基础。此类RNN可视为连续时间动力系统的离散化，这为我们的方法提供了坚实的理论基础。我们的任务同步ESN（TSESN）与GRU（TSGRU）模型允许直接的模型时间设定，且相较于常规对应模型无需额外训练、参数调优或计算（求解微分方程或插值数据），从而保持其原有效率。我们通过实验证实，我们的模型能有效补偿数据的时间非均匀性，并表明在多个真实世界非均匀时间数据集上，它们优于数据重采样、经典RNN方法以及为处理时间不规则性而提出的其他RNN模型。我们在 https://github.com/oshapio/task-synchronized-RNNs 开源了代码。
引用
@article{arxiv.2204.05192,
title = {Task-Synchronized Recurrent Neural Networks},
author = {Mantas Lukoševičius and Arnas Uselis},
journal= {arXiv preprint arXiv:2204.05192},
year = {2024}
}
备注
The 1st version was written in May 2019 and double-blind reviewed for a prominent conference. A major update. We changed the name of the article and methods to an arguably more precise one, and because a very similar title has been published in the meantime. We've rewritten much of the text, connected to the current literature, redone some experiments, figures, discussion, published source code