面向时间序列表示优化的词汇反向投影
机器学习
2024-12-25 v1 计算与语言
摘要
尽管大语言模型（LLM）在处理和生成文本数据方面展现出惊人的能力，但其预训练词汇不适用于捕捉时间序列中所固有的细微时序动态和模式。自然语言标记的离散、符号化特性与时间序列数据中连续、数值化特性并不吻合。为此，我们提出 VITRO 方法。该方法借鉴视觉语言领域的文本反向投影优化，以学习每个数据集的新型时间序列词汇，弥合自然语言离散语义本质与时间序列连续数值本质之间的差距。我们表明，可学习的时间序列特定伪词嵌入能更好地代表时间序列数据，VITRO 增强的方法在大多数数据集上的长期预测中实现了最新成绩。
引用
@article{arxiv.2412.17921,
title = {VITRO: Vocabulary Inversion for Time-series Representation Optimization},
author = {Filippos Bellos and Nam H. Nguyen and Jason J. Corso},
journal= {arXiv preprint arXiv:2412.17921},
year = {2024}
}
备注
Accepted to ICASSP 2025