Rough Transformer：通过签名补丁实现轻量级和连续时间序列建模

现实世界中的时间序列数据通常表现出长程依赖性，并且是在非均匀时间间隔下观测的。在这些情况下，传统的基于序列的循环模型难以应对。为了克服这一点，研究人员通常用基于神经常微分方程的模型来替代循环架构以处理不规则采样数据，并使用基于Transformer的架构来处理长程依赖性。尽管这两种方法取得了成功，但对于即使是中等长度的输入序列，它们都会产生非常高的计算成本。为了应对这一挑战，我们引入了Rough Transformer，它是Transformer模型的一个变体，对输入序列的连续时间表示进行操作，并且计算成本显著降低。特别地，我们提出了多视图签名注意力，它使用路径签名来增强普通注意力，并捕捉输入数据中的局部和全局（多尺度）依赖性，同时保持对序列长度和采样频率变化的鲁棒性，并产生改进的空间处理。我们发现，在各种时间序列相关任务上，Rough Transformer始终优于其普通注意力的对应模型，同时获得了基于神经常微分方程模型的表示优势，而计算时间和内存资源仅为其一小部分。