序列到最终点：从序列分布调优到最终时间点的基准
机器学习
2024-07-16 v1
摘要
随时间推移的分布迁移在许多场景中都有发生。尽管在最终时期数据有限，但仍需利用历史数据来学习用于预测最后一个时间点的模型，而为此目的专门开发的少数方法。本文构建了一个包含不同类型序列迁移的基准，用于评估三类方法的有效性：1）从所有数据中学习，不考虑适应最终时期；2）从历史数据中学习，忽略序列性质，然后适应最终时期；3）在利用历史数据的序列性质的基础上，为针对最终时期构建模型。我们将此基准称为“Seq-to-Final”，以突出关注使用一系列时间段来学习最终时间点的模型。我们的合成基准允许用户构建不同类型的序列并比较不同方法。我们使用 CIFAR-10 和 CIFAR-100 作为合成序列的基础图像。我们还在 Portraits 数据集上评估相同的方法，以探讨其对现实世界随时间迁移的相关性。最后，我们创建了一个可视化工具，以对比不同方法在最终时间步骤中的初始化和更新。我们的结果表明，对于我们基准中的序列，那些忽略序列结构并适应最终时期的方法表现良好。我们评估的方法利用序列性质并未提供任何改进。我们希望这个基准能激发开发更擅长利用历史数据序列或更深入理解为何忽略序列性质的方法能够表现良好的新算法。
引用
@article{arxiv.2407.09642,
title = {Seq-to-Final: A Benchmark for Tuning from Sequential Distributions to a Final Time Point},
author = {Christina X Ji and Ahmed M Alaa and David Sontag},
journal= {arXiv preprint arXiv:2407.09642},
year = {2024}
}