使用 Wasserstein 损失微调时间序列基础模型
机器学习
2024-11-19 v2 人工智能
计算与语言
摘要
受大型语言模型（LLM）在自然语言处理（NLP）领域的最新进展启发，研究人员近年来聚焦于开发面向时间序列预测的基础模型。一种方法是使用交叉熵损失对标记化的时间序列数据训练 LLM 架构。虽然这种方法已显示出有前景的成果，但交叉熵损失主要设计用于分类任务，不考虑类别之间的距离。为此，我们提出使用 Wasserstein 损失。为验证我们的方法，我们在 22 个 zero-shot 数据集上对基础时间序列模型进行微调，比较了交叉熵损失与 Wasserstein 损失的性能。我们的结果表明，用 Wasserstein 损失取代交叉熵损失显著改善了点估计。
引用
@article{arxiv.2409.15367,
title = {Fine-Tuning a Time Series Foundation Model with Wasserstein Loss},
author = {Andrei Chernov},
journal= {arXiv preprint arXiv:2409.15367},
year = {2024}
}
备注
4 main pages; 2 figures