现代时序依赖神经网络中时间步嵌入的消失

动力系统往往是随时间变化的，其建模需要一个随时间演化的函数。最近的研究，如神经常微分方程，提出了一种随时间变化的神经网络，提供一种随时间变化的神经网络。然而，我们认为构建时序依赖神经网络的架构选择显著影响其时序感知能力，但目前的研究仍缺乏充分的验证。在本研究中，我们对现代时序依赖神经网络的架构进行了深入分析。我们报告了一种时间步嵌入消失的漏洞，该漏洞会使时序依赖神经网络失去时序感知能力。此外，我们发现，这一漏洞也存在于扩散模型中，因为它们采用类似的架构，在扩散过程中使用时间步嵌入来区分不同的时间步。我们的分析对这一现象进行了详细描述，并提出了若干解决方案以解决根本原因。通过在神经常微分方程和扩散模型上的实验，我们观察到，通过提出的解决方案确保活跃的时序感知能力可提升其性能，这表明其当前的实现缺乏足够的时序依赖性。