平方损失下Transformer模型在金融时间序列中的预测崩溃
机器学习
2026-04-02 v1 机器学习
概率论
统计理论
计算金融
统计理论
摘要
我们研究了在弱条件结构的时间序列上使用高表达力预测模型进行轨迹预测的平方损失问题。基于经典的平方损失风险最小化刻画，我们强调条件期望实际上退化的区域，在这些区域中导致平凡的贝叶斯最优预测器（在标准金融设定下，价格为常数、收益为零）。在此区域中，模型表达力的增强不会提高预测准确性，反而会在最优预测器周围引入虚假的轨迹波动。这些波动源于噪声的再利用，导致预测方差增加而偏差不降。这为基于Transformer的金融时间序列预测退化提供了过程层面的解释。我们通过高频EUR/USD汇率数据的数值实验补充了这些理论结果，分析了轨迹级预测误差的分布。结果表明，基于Transformer的模型在绝大多数预测窗口上的误差大于简单的线性基准，与理论识别的方差驱动机制一致。
引用
@article{arxiv.2604.00064,
title = {Forecast collapse of transformer-based models under squared loss in financial time series},
author = {Pierre Andreoletti},
journal= {arXiv preprint arXiv:2604.00064},
year = {2026}
}