基于一步微调的时间序列Transformer领域自适应
机器学习
2024-01-15 v1
摘要
Transformer近期在深度学习中的突破，因其捕捉长程依赖的能力，引起了时间序列领域的极大关注。然而，与其他深度学习模型一样，Transformer在时间序列预测中面临诸多局限，包括时序理解不足、泛化挑战以及数据有限领域的数据偏移问题。此外，解决灾难性遗忘问题——即模型接触新数据时遗忘先前所学信息——是增强Transformer在时间序列任务中鲁棒性需关注的另一关键方面。为应对这些局限，本文在数据充足的源领域预训练时间序列Transformer模型，并在数据有限的目标领域对其进行微调。我们引入了一步微调（One-step fine-tuning）方法，向目标领域添加一定比例的源领域数据，为模型提供多样化的时间序列实例。随后，我们采用渐进解冻技术对预训练模型进行微调。这有助于提升模型在数据有限领域的时间序列预测性能。在两个真实世界数据集上的广泛实验结果表明，我们的方法在室内温度预测和风电功率预测上分别比最先进基线提升了4.35%和11.54%。
引用
@article{arxiv.2401.06524,
title = {Domain Adaptation for Time series Transformers using One-step fine-tuning},
author = {Subina Khanal and Seshu Tirupathi and Giulio Zizzo and Ambrish Rawat and Torben Bach Pedersen},
journal= {arXiv preprint arXiv:2401.06524},
year = {2024}
}
备注
Accepted at the Fourth Workshop of Artificial Intelligence for Time Series Analysis (AI4TS): Theory, Algorithms, and Applications, AAAI 2024, Vancouver, Canada