PT-Tuning：通过提示词元调优弥合时间序列掩码重建与预测之间的鸿沟
机器学习
2023-11-08 v1 人工智能
摘要
自监督学习近期在时间序列领域被广泛研究，尤其是掩码重建。此类方法多遵循“预训练+微调”范式，其中用新解码器替换预训练解码器以适配特定下游任务，导致上游与下游任务不一致。本文首先指出，任务目标统一与任务难度适配对于弥合时间序列掩码重建与预测之间的鸿沟至关重要。通过在微调阶段保留预训练掩码词元，预测任务可视为掩码重建的特例，其中未来值被掩码并基于历史值重建。这保证了任务目标的一致性，但任务难度上仍存在鸿沟，因为掩码重建可利用上下文信息，而预测仅能利用历史信息重建。为进一步缓解已有鸿沟，我们提出一种简单而有效的提示词元调优（PT-Tuning）范式，其中所有预训练参数被冻结，仅添加少量可训练提示词元以逐元素方式扩展掩码词元。在真实数据集上的大量实验表明，与表示学习和端到端监督预测方法相比，我们所提范式具有最优性能。
引用
@article{arxiv.2311.03768,
title = {PT-Tuning: Bridging the Gap between Time Series Masked Reconstruction and Forecasting via Prompt Token Tuning},
author = {Hao Liu and Jinrui Gan and Xiaoxuan Fan and Yi Zhang and Chuanxian Luo and Jing Zhang and Guangxin Jiang and Yucheng Qian and Changwei Zhao and Huan Ma and Zhenyu Guo},
journal= {arXiv preprint arXiv:2311.03768},
year = {2023}
}