Hydra：用于多变量时间序列分析的双指数记忆

近年来，有效建模多变量时间序列已获得显著关注，主要due to其广泛的应用，从健康护理到金融市场和能源管理。变压器、MLP 和线性模型作为现代时间序列模型的事实标准 backbone 已在单变量和/或短期预测中显示出前景。然而，这些模型：(1) 是置换等价的，缺乏时间归因偏置，捕获时间动态能力较弱；(2) 天然设计为单变量 setup，缺失时间和变量维度之间的相互依赖；或(3) 在长期时间序列建模上效率不高。为克服训练和推理效率以及缺乏时间归因偏置的问题，最近，线性循环神经网络 (RNN) 受到关注作为变压器模型的替代方案。然而，这些模型本质上仅限于单个序列，缺失跨变量的依赖性，且因其加性特性而可能传播误差。在本文中，我们提出Hydra，一个以设计为双头 meta in-context 记忆模块，能够通过优先选择更能解释数据信息的时序模式来学习如何在测试时记忆。Hydra 在每个步骤都跨时间和变量的二维 recurrence，这比混合方法更强大。尽管Hydra的二维特性使其训练具有循环性且不可并行化，但我们提出了一种新的二维块级训练算法，用以用$\times 10$的效率提升近似实际 recurrence，同时保持有效性。我们的实验结果在多样化的任务和数据集上，包括时间序列预测、分类和异常检测，都证明了Hydra相对于最先进的基线具有优越性能。