利用阻尼谐振振子：闭式解的非规则时间序列建模
机器学习
2026-05-13 v2
摘要
Transformer通过注意力机制擅长时间序列建模，能够捕捉长期时序模式。然而，它们假设时间间隔均匀，因而在处理非规则时间序列时受限。神经常微分方程(NODE)通过将隐藏状态建模为连续演化轨迹来有效处理非规则时间序列。ContiFormers arxiv:2402.10635将NODE与Transformer结合，但继承了前者通过重型数值求解器的计算瓶颈。我们通过使用给定动力系统的闭式解消除了这一瓶颈——但这在一般情况下已知不可行！我们通过取代NODE，采用一种新的线性阻尼谐振振子类比来实现这一点——该类比具有已知的闭式解。我们将键和值建模为阻尼、驱动的振子，并将查询在合适的模数数目下展开为正弦基底。这种类比自然地捕捉了查询-键耦合，这是任何Transformer架构的基本特征，通过将注意力建模为共振现象来实现。我们的闭式解消除了数值ODE求解器的计算开销，同时保持了表达力。我们证明了这种振子参数化方式保持了连续时间注意力的通用逼近属性；具体而言，ContiFormer的连续键所实现的任何离散注意力矩阵，都可以被我们的固定振子模式任意好地逼近。我们的做法实现了理论保证和可扩展性，在非规则时间序列基准测试中实现了最先进的性能，同时快了几个数量级。致谢：本工作由Dirac Labs合作完成。
引用
@article{arxiv.2602.12139,
title = {Oscillators Are All You Need: Irregular Time Series Modelling via Damped Harmonic Oscillators with Closed-Form Solutions},
author = {Yashas Shende and Aritra Das and Reva Laxmi Chauhan and Arghya Pathak and Debayan Gupta},
journal= {arXiv preprint arXiv:2602.12139},
year = {2026}
}