中文

时间序列的克劳修斯矫正床:点级损失函数中的优化偏差

机器学习 2026-05-12 v3

摘要

直观地看,更确定性的时间序列应该更容易预测。然而,点级损失函数(如MSE和MAE),作为理想优化目标的可微分替代品,对每个时间戳独立评分,因而忽略了时间依赖性。这一不匹配导致系统性优化偏差,仅通过提高模型表达性或优化器无法消除。为形式化此问题,我们定义优化偏差期望 (EOB) 为真实联合分布与点级范式所诱导的因子化独立同分布近似值之间的KL散度。在协方差平稳高斯假设下,我们推导出EOB随机成分的闭式表达式,确立其作为线性系统中总偏差不可约下界,并通过高斯混合模型下界进一步拓展到非线性情形。关键的是,我们证明了这种偏差由两大数据属性决定,即序列长度和结构信噪比 (SSNR), regardless of specific model architecture, optimizer, or point-wise loss forms. 本理论激励了基于序列长度缩减和结构正交化的原则性去偏计划,我们通过DFT/DWT结合新颖的调和p\ell_p范数实现。大量实验验证了预测的SSNR--时域动态,解决了经典的三角函数拟合失败作为一种由目标引起的病理情况,并展示了显著的即插即用收益。值得注意的是,在iTransformer上,我们提出的目标在11个数据集的预测中将平均MSE/MAE降低5.2%/5.0%,在9个数据集的插值中降低27.4%/19.4%。

关键词

引用

@article{arxiv.2512.18610,
  title  = {The Procrustean Bed of Time Series: The Optimization Bias in Point-wise Loss Functions},
  author = {Rongyao Cai and Yuxi Wan and Kexin Zhang and Ming Jin and Zhiqiang Ge and Daoyi Dong and Hang Yu and Yong Liu and Qingsong Wen},
  journal= {arXiv preprint arXiv:2512.18610},
  year   = {2026}
}

备注

54 pages