通过 LLM 判断的元学习评估多源时间序列数据质量

高质量的时间序列（TS）数据对于确保 TS 模型性能至关重要，这使得研究 TS 数据质量评估不可或缺。现有方法在各自领域内展现出可观的评估准确率，主要通过扩展影响函数和 Shapley 值等数据质量评估技术以适应时间特征。然而，它们忽略了现实世界中的 TS 数据可能跨越截然不同的领域并表现出截然不同的属性，这阻碍了对多样化 TS 数据的准确高效评估。本文提出 TSRating，一个用于评估从多领域爬取的时间序列数据质量的新型统一框架。TSRating 利用 LLM 在其广泛预训练期间获得的固有丰富知识，来理解并辨别多样化 TS 数据中的质量差异。我们通过设计一系列提示词来引导 LLM 对成对 TS 样本进行质量比较，从而验证了这一点。随后，我们拟合了一个名为 TSRater 的专用评分模型，通过 TSRater 的推理预测未来 TS 样本，从而将 LLM 的判断转化为高效的质量预测。为确保跨领域适应性，我们开发了一种元学习方案，在从九个不同领域收集的质量比较数据上训练 TSRater。为提高训练效率，我们在内循环更新中使用 signSGD，从而规避了对超梯度的高计算需求。在三个时间序列任务的十一个基准数据集上进行了大量实验，每个任务均使用传统 TS 模型和 TS 基础模型，结果表明 TSRating 在估计准确率、效率和领域适应性方面均优于基线方法。