Channel-Aware Low-Rank Adaptation in Time Series Forecasting
机器学习
2024-07-25 v1
摘要
在长期时间序列预测中，模型容量与泛化能力之间的平衡是近期讨论的关键焦点。两种代表性的 channel 策略与模型表达性和鲁棒性紧密相关，包括 channel independence（CI）和 channel dependence（CD）。前者采用单独的 channel 处理方式，已显示出对分布迁移更鲁棒，但缺乏建模有意义 channel 相互作用的足够容量。后者能够更丰富地地表示复杂的跨 channel 依赖关系，但容易过拟合。为平衡这两种策略，我们提出了一种基于 channel 感知的低秩适应方法，以条件化身份感知的 individual 组件来 condition CD 模型。作为一种 plug-in 解决方案，它适用于广泛的 backbone 架构。大量实验表明，它能在保持显著效率和灵活性的同时，持续显著改进 CI 和 CD 模型的性能。代码已在 https://github.com/tongnie/C-LoRA 上提供。
关键词
引用
@article{arxiv.2407.17246,
title = {Channel-Aware Low-Rank Adaptation in Time Series Forecasting},
author = {Tong Nie and Yuewen Mei and Guoyang Qin and Jian Sun and Wei Ma},
journal= {arXiv preprint arXiv:2407.17246},
year = {2024}
}
备注
Accepted by CIKM 2024, short research paper track