连续深度循环神经微分方程
机器学习
2022-12-29 v1
摘要
循环神经网络（RNNs）在序列标注任务与序列数据方面带来了诸多进展。然而，当序列中的观测以不规则时间间隔非均匀采样时，其有效性受到限制。为此，基于神经常微分方程（NODE）引入了 RNN 的连续时间变体。它们利用隐状态随时间的连续变换学习更好的数据表示，并考虑观测之间的时间间隔。然而，它们的能力仍然有限，因为在序列中对输入的离散变换和固定离散层数（深度）用于产生输出观测。我们旨在通过提出基于微分方程的 RNN 来解决此局限，该方程对深度和时间建模连续变换，以预测序列中给定输入的输出。具体而言，我们提出连续深度循环神经微分方程（CDR-NDE），其通过在时间和深度维度上连续演化隐状态来推广 RNN 模型。CDR-NDE 在这两个维度上分别考虑两个独立的微分方程，并交替建模时间与深度方向的演化。我们还提出了基于偏微分方程的 CDR-NDE-heat 模型，将隐状态计算视为求解随时间变化的传热方程。我们在真实世界序列标注问题与数据上对比 SOTA RNN 模型，证明了所提模型的有效性。
引用
@article{arxiv.2212.13714,
title = {Continuous Depth Recurrent Neural Differential Equations},
author = {Srinivas Anumasa and Geetakrishnasai Gunapati and P. K. Srijith},
journal= {arXiv preprint arXiv:2212.13714},
year = {2022}
}