弃除掩码保留核心:基于自适应掩码损失与表示一致性的时间序列预测
机器学习
2025-10-24 v1 信息论
math.IT
摘要
时间序列预测在能源管理与金融市场等关键领域发挥着核心作用。尽管基于深度学习的方法(如 MLP、RNN、Transformer)已取得显著进展,但主流的"长序列信息增益假设"存在固有局限。通过系统的实验研究,本文揭示了一个反直觉的现象:适当地截断历史数据反而能够提升预测精度,这表明现有模型在训练过程中学习到了大量冗余特征(如噪声或无关波动),从而损害了有效信号的提取。基于信息瓶颈理论,我们提出了一种名为自适应掩码损失与表示一致性(AMRC)的创新方法,其包含两个核心组件:1) 动态掩码损失,自适应地识别高判别性的时间片段以指导模型训练中的梯度下降;2) 表示一致性约束,稳定输入、标签与预测之间的映射关系。实验结果表明,AMRC 能有效抑制冗余特征学习,同时显著提升模型性能。本文不仅挑战了时序建模中的传统假设,还为开发高效且鲁棒的预测模型提供了新颖的理论洞见与方法论突破。
引用
@article{arxiv.2510.19980,
title = {Abstain Mask Retain Core: Time Series Prediction by Adaptive Masking Loss with Representation Consistency},
author = {Renzhao Liang and Sizhe Xu and Chenggang Xie and Jingru Chen and Feiyang Ren and Shu Yang and Takahiro Yabe},
journal= {arXiv preprint arXiv:2510.19980},
year = {2025}
}
备注
20 pages, 4 figures. Accepted as Spotlight poster in NeurIPS 2025