QKCV 注意力机制：基于静态分类嵌入提升时间序列预测的轻量化与预训练基础模型
机器学习
2025-10-24 v1 人工智能
摘要
在实际时间序列预测任务中，类别信息在捕捉数据内在模式方面发挥关键作用。本文引入 QKCV (Query-Key-Category-Value) 注意力机制，这是一种将静态分类嵌入 C 纳入传统 QKV 框架的扩展，旨在凸显类别特定信息。QKCV 作为一种即插即用模块，提升了基于注意力的模型 (如 Vanilla Transformer、Informer、PatchTST、TFT) 在多样化真实数据集上的预测准确率。此外，QKCV 在仅更新静态嵌入 C 的情况下，对单变量时间序列基础模型进行微调，展现出显著的适应性，降低计算开销，实现卓越的微调性能。
引用
@article{arxiv.2510.20222,
title = {QKCV Attention: Enhancing Time Series Forecasting with Static Categorical Embeddings for Both Lightweight and Pre-trained Foundation Models},
author = {Hao Wang and Baojun Ma},
journal= {arXiv preprint arXiv:2510.20222},
year = {2025}
}
备注
10 pages, 5 figures