更高阶 Transformer：用于多模态时间序列数据的股票走势预测

本文通过引入更高阶 Transformer（Higher Order Transformers）一种新型体系结构，用于处理多变量时间序列数据，来解决预测金融市场股票走势的挑战。我们将自注意力机制和 Transformer 架构扩展到更高阶，有效捕捉时间维度和变量维度之间的复杂市场动力学。为管理计算复杂度，我们提出了对潜在大型注意力张量的低秩近似（利用张量分解），并采用核注意力（kernel attention），将复杂度降低为数据规模的线性。此外，我们提出一种编码器-解码器模型，集成技术分析和基本面分析，利用历史价格和相关推文等多模态信号。我们在 Stocknet 数据集上进行实验，结果表明我们方法的有效性，凸显其在金融市场中增强股票走势预测潜力的前景。