LightSAE:面向物联网多元时间序列预测的参数高效且异构感知的嵌入方法
机器学习
2025-10-14 v1 人工智能
摘要
现代物联网(IoT)系统会产生海量且异构的多元时间序列数据。对此类数据进行准确的多元时间序列预测(MTSF)对众多应用至关重要。然而,现有方法几乎普遍采用共享嵌入层,以相同方式处理所有通道,形成了表征瓶颈,掩盖了宝贵的通道特异性信息。为应对这一挑战,我们提出共享-辅助嵌入(SAE)框架,将嵌入分解为捕获共性模式的共享基础分量与建模独特偏差的通道特异性辅助分量。在该分解下,我们经验性地观察到辅助分量倾向于呈现低秩与聚类特性——这一结构模式在纯独立嵌入下显著不明显。基于此,我们设计了 LightSAE,一种参数高效的嵌入模块,通过低秩分解与共享门控分量池将上述观察到的特性付诸实践。在 9 个物联网相关数据集与 4 种骨干架构上的大量实验表明,LightSAE 效果显著,在仅增加 4.0% 参数的情况下,MSE 提升最高可达 22.8%。
引用
@article{arxiv.2510.10465,
title = {LightSAE: Parameter-Efficient and Heterogeneity-Aware Embedding for IoT Multivariate Time Series Forecasting},
author = {Yi Ren and Xinjie Yu},
journal= {arXiv preprint arXiv:2510.10465},
year = {2025}
}
备注
Submitted to IEEE IoT-J