用于时间序列预测的RWKV模型中量子增强的通道混合
量子物理
2025-06-03 v2
摘要
神经序列建模的最新进展催生了诸如RWKV之类的架构,该架构将循环风格的时间混合与前馈通道混合相结合,以实现高效的长上下文处理。在这项工作中,我们提出了QuantumRWKV,这是RWKV模型的混合量子-经典扩展,其中标准前馈网络(FFN)部分被变分量子电路(VQC)替代。量子组件旨在增强非线性表示能力,同时通过PennyLane框架保持端到端的可微性。为了评估量子增强的影响,我们在十个合成时间序列预测任务上对QuantumRWKV及其经典对应模型进行了比较评估,涵盖线性(ARMA)、混沌(Logistic映射)、振荡(阻尼振荡器、正弦波)和状态切换信号。我们的结果表明,QuantumRWKV在10个任务中的6个上优于经典模型,特别是在具有非线性或混沌动力学的序列中表现出色,如混沌Logistic、含噪阻尼振荡器、正弦波、三角波、锯齿波和ARMA。然而,它在涉及急剧状态切换(分段状态)或更平滑周期模式(阻尼振荡器、季节趋势、方波)的任务上表现不佳。这项研究提供了混合量子-经典与经典循环模型在时间域中的首批系统比较之一,突出了量子电路可以提供切实优势的场景。我们最后讨论了架构权衡,例如量子层中的方差敏感性,并概述了在长上下文时间学习系统中扩展量子集成的未来方向。
引用
@article{arxiv.2505.13524,
title = {Quantum-Enhanced Channel Mixing in RWKV Models for Time Series Forecasting},
author = {Chi-Sheng Chen and En-Jui Kuo},
journal= {arXiv preprint arXiv:2505.13524},
year = {2025}
}