通过蒸馏集成 Transformer 中的归纳偏置，用于金融时间序列预测

Transformer 模型因其高表示能力和架构灵活性而广泛应用于时间序列预测。然而，许多 Transformer 变体在隐式假设平稳性和稳定的时间动态，这些假设在以制度迁移和非平稳性为特征的金融市场中常常被违反。实验上，领先的时间序列 Transformer 甚至在金融任务上表现不如基础 Transformer，而具有明确归纳偏置的简单架构，如 CNN 和 RNN，却能在显著降低的复杂度下实现更好的性能。同时，没有单一的归纳偏置在不同市场或制度下都占据优势，这表明稳健的金融预测需要整合互补的时序先验。我们提出 TIPS (Transformer with Inductive Prior Synthesis)，一种知识蒸馏框架，用于在统一的 Transformer 中合成多样化的归纳偏置——即因果性、局部性和周期性。TIPS 通过注意力掩码训练具有偏置-specialized Transformer 教师，然后在归纳偏置之间实现制度相关的对齐，将其知识蒸馏到单个学生模型中。在四个主要股权市场上，TIPS 实现了最先进的性能，在年收益、盈亏比和最大回撤比等指标上分别超过强大的集成基准提高了 55%、9% 和 16%，而推理时间计算仅为其中的 38%。进一步分析表明，TIPS 在超越基础 Transformer 以及其教师集成后，均实现了统计显著的超额收益，并且在其盈利时期表现出与经典架构在制度相关行为上的一致性。这些结果凸显了在非平稳金融时间序列中实现稳健泛化所需的制度相关归纳偏置利用的重要性。