面向多元时间序列可扩展性与性能的Transformer建模

变量数量是多元时间序列（MTS）数据中Transformer建模的主要可扩展性瓶颈之一。除此之外，该领域日益形成的共识指出，不加区分的变量间混合是噪声累积和性能下降的潜在根源。许多MTS系统特有的信息信号稀疏性，以及源自（异质）变量间不加区分信息混合的表示不对齐，可能加剧了这一问题。虽然可扩展性和性能在Transformer设计中常被视为相互竞争的目标，但我们表明，通过策略性地约束变量间混合的表示能力，可以在MTS中同时改善这两者。我们提出的方法，即带有委托Token注意力的Transformer（DELTAformer），通过我们称之为委托令牌（delegate tokens）的机制来约束变量间建模，然后利用这些委托令牌执行完整的、无约束的时间间建模。委托令牌充当隐式正则化器，迫使模型对允许在网络中传播的变量间信息进行高度选择。我们的结果表明，DELTAformer的复杂度随变量数量线性增长，同时其性能实际上优于标准Transformer，在多个基准和基线上达到了最先进的性能。此外，在嘈杂的MTS环境中，DELTAformer比标准Transformer能更好地聚焦于相关信号，并总体上展现出更优越的噪声鲁棒性。总体而言，跨各种实验的结果证实，通过调整模型设计以利用MTS领域特有的挑战，DELTAformer能够同时实现线性扩展，并相对于标准的二次复杂度Transformer实际提升其性能。