基于 Transformer 编码器和多特征 Time2Vec 的金融预测

金融预测是时间序列分析和信号处理中复杂且具有挑战性的任务，旨在建模短期波动和长期时间依赖性。Transformer 在自然语言处理中取得了显著成功，主要是利用注意力机制，这也影响了时间序列社区。能够捕捉短程和长程依赖性的能力，有助于理解金融市场并识别价格模式，导致 Transformer 在股票预测中的成功应用。然而，之前的研究主要关注单个特征和单一预测，这限制了模型理解更广泛市场趋势的能力。实际上，在金融和技术等行业中，属于同一行业的公司往往表现出相关的股票价格运动。本文开发了一种新型神经网络架构，通过将 Time2Vec 与 Transformer 模型的编码器集成。基于对不同市场的研究，我们提出了一种新型相关特征选择方法。通过对多个超参数进行全面调优，我们对结果与基准模型进行了比较分析。我们得出结论，本方法优于位置编码等其他最先进的编码方法，并且还得出结论，选择相关特征可提高预测多只股票价格的准确性。