通过提升流形缓解 LLM4TS 中的伪对齐问题
机器学习
2025-10-16 v1
摘要
伪对齐是许多大型语言模型用于时间序列（LLM4TS）模型中普遍存在的挑战，常导致其表现不如线性模型或随机初始化的主干模型。然而，社区对伪对齐发生原因的讨论仍有限。本文对伪对齐在 LLM4TS 中的根本原因进行彻底调查，并构建了伪对齐与 LLM 中锥效应之间的联系。我们展示，伪对齐源于预训练 LLM 组件中锥效应与时间序列数据内在低维流形之间的相互作用。此外，我们还引入了一种新型技术 TimeSUP，旨在缓解此问题并提高现有 LLM4TS 方法的预测性能。TimeSUP 通过增加时间序列流形的维度，以更 closely 匹配语言嵌入的内在维度，使模型能够清晰区分时间信号，同时仍能捕获跨模态的共享结构。结果显示，时间和语言标记的表示保持独立，却在余弦相似度上表现出高相似性，表明模型既保留了各模态独特性，又在统一的嵌入空间中学习了它们的共性。经验上，TimeSUP 在长期预测性能上持续优于最先进的 LLM4TS 方法及其他轻量基线。 Furthermore, 它可以无缝集成到四个现有 LLM4TS 管道中，显著提升预测性能。
引用
@article{arxiv.2510.12847,
title = {Lifting Manifolds to Mitigate Pseudo-Alignment in LLM4TS},
author = {Liangwei Nathan Zheng and Wenhao Liang and Wei Emma Zhang and Miao Xu and Olaf Maennel and Weitong Chen},
journal= {arXiv preprint arXiv:2510.12847},
year = {2025}
}