JustDense：仅使用稠密层替代序列混合器进行时间序列分析
机器学习
2025-08-14 v1 人工智能
摘要
序列和通道混合器是序列模型中的核心机制，已成为时间序列分析（TSA）中事实标准的做法。然而，近期研究对复杂序列混合器（如注意力机制）的必要性提出了质疑，表明更简单的架构可以实现与之相当甚至更好的性能。这表明归因于复杂序列混合器的益处可能反而源于其他架构或优化因素。基于此观察，我们提出了一个核心问题：对于时间序列分析，常见的序列混合器是否必要？因此，我们提出了 JustDense，一个经验研究，通过在各种 well-established TSA 模型中用稠密层取代序列混合器。以 MatrixMixer 框架为基础，JustDense 将任何序列混合器视为混合矩阵，用密集层取代它。这种替换隔离了混合运算，使我们能够为理解其作用提供清晰的理论基础。因此，我们在覆盖五种代表性 TSA 任务的 29 个基准测试上，使用七种最新的 TSA 模型进行了大规模实验，以回答我们的研究问题。结果表明，用稠密层取代序列混合器可实现与之相当甚至更好的性能。在那些专门的序列混合器仍然提供益处的案例中，JustDense 挑战了“更深且更复杂的架构在 TSA 中天然更好”的假设。
关键词
引用
@article{arxiv.2508.09153,
title = {JustDense: Just using Dense instead of Sequence Mixer for Time Series analysis},
author = {TaekHyun Park and Yongjae Lee and Daesan Park and Dohee Kim and Hyerim Bae},
journal= {arXiv preprint arXiv:2508.09153},
year = {2025}
}
备注
13 pages ,planning to submit to IEEE BigData 2025