基于金融时间序列的先验知识蒸馏

金融时间序列的一个主要特征是包含大量非平稳噪声，这对深度神经网络而言具有挑战性。人们通常使用各种特征来解决此问题。然而，这些特征的性能依赖于超参数的选择。本文提出使用神经网络来表示这些指标，并训练一个由较小网络作为特征层构成的大网络，以微调由指标表示的先验知识。在反向传播过程中，先验知识通过梯度下降从人类逻辑转移到机器逻辑。先验知识是神经网络的深层信念，并教导网络不受非平稳噪声影响。此外，应用协同蒸馏将结构蒸馏为小得多的规模，以减少冗余特征与过拟合风险。另外，较小网络在梯度下降方面的决策比大网络更稳健和谨慎。在数值实验中，我们发现我们的算法在真实金融数据集上比传统方法更快且更准确。我们还进行了实验来验证和理解该方法。