中文

粒度悖论:时间离散化如何夸大样本内拟合并加剧样本外误差

机器学习 2026-07-05 v1 人工智能 统计方法学

摘要

本文探讨了时间序列预测中的“粒度悖论”,即更细的时间离散化(例如,从月度到周度/日度)改善了样本内诊断和数据集大小(N),但由于在更长预测范围(H)上的递归误差累积而降低了样本外精度。相反,粗粒度聚合(年度)消除了递归误差传播,但减少了估计器可用的数据。我们形式化了这种权衡,并使用一个13年的公共采购数据集,在六个粒度上对10种模型(涵盖朴素、统计、机器学习和深度学习架构)进行了基准测试。实证结果揭示了非单调的阈值结构:递归自回归和季节性模型在高频预测下显著退化(例如,Holt-Winters在日度粒度下达到测试R平方为-151,TPFE为425.85%),而LSTM则呈现U形误差曲线,从月度(19.66%)恶化到双周(35.94%),然后在日度粒度下克服误差传播惩罚(TPFE为4.35%,R平方为0.66)。线性回归在所有粒度下保持稳定(TPFE为16.3%-17.0%),证实该悖论是由递归反馈拓扑驱动的,而非模型复杂度。结果表明,标准逐点指标(RMSE、MAE)系统性地掩盖了累积误差传播,而忽略目标依赖的累积指标来评估预测会产生对模型充分性的误导性评估。我们引入了一种共识-分歧诊断方法,比较逐点指标与跨粒度的累积TPFE的方向行为,从而能够识别其标准诊断掩盖系统性误差传播的模型。

关键词

引用

@article{arxiv.2607.05450,
  title  = {The Granularity Paradox: How Temporal Disaggregation Inflates In-Sample Fit and Compounds Out-of-Sample Error},
  author = {Hugo Moreira},
  journal= {arXiv preprint arXiv:2607.05450},
  year   = {2026}
}