基于双向线性循环模型的序列级多源融合
机器学习
2025-04-15 v1
摘要
序列建模是一项具有广泛应用场景的关键且具有挑战性的任务，尤其在天气预测、温度监控和能源负荷预测等领域。Transformer凭借其注意力机制，因并行训练效率高而成为当前最先进的方法，但其二次时间复杂度限制了在长序列上的可扩展性。相比之下，循环神经网络(RNN)具有线性时间复杂度，推动了对线性RNN在更高效序列建模方面的重新关注。本文介绍了BLUR（Bidirectional Linear Unit for Recurrent network），其使用前向和反向线性循环单元(LRU)捕获过去和未来依赖关系，同时保持高效计算。BLUR保持传统RNN的线性时间复杂度，同时通过LRU实现快速并行训练。此外，它具备可证明的训练稳定性和强大的逼近能力，对于建模长期依赖关系非常有效。大量实验表明，BLUR不仅在准确率上超过Transformer和传统RNN，还显著降低了计算成本，特别适用于实际预测任务。我们的代码已公开。
引用
@article{arxiv.2504.08964,
title = {Bidirectional Linear Recurrent Models for Sequence-Level Multisource Fusion},
author = {Qisai Liu and Zhanhong Jiang and Joshua R. Waite and Chao Liu and Aditya Balu and Soumik Sarkar},
journal= {arXiv preprint arXiv:2504.08964},
year = {2025}
}