为未来而训练：一种沿时间泛化的简单梯度插值损失
机器学习
2021-11-23 v2 机器学习
摘要
在若干真实世界应用中，机器学习模型被部署用于对分布随时间逐渐变化的数据进行预测，导致训练与测试分布之间的漂移。此类模型通常定期在新数据上重新训练，因此需要泛化到不太遥远的未来数据。在此背景下，已有大量关于增强时间泛化的先前工作，例如过去数据的连续迁移、核平滑的时间敏感参数，以及最近的时间不变特征的对抗学习。然而，这些方法共有若干局限，例如可扩展性差、训练不稳定以及依赖来自未来的无标签数据。针对上述局限，我们提出一种简单方法：以具有时间敏感参数的模型为起点，但使用梯度插值（GI）损失正则化其时间复杂度。GI 允许决策边界随时间改变，同时仍可通过允许对沿时间变化进行任务特定控制来防止对有限训练时间快照的过拟合。我们在多个真实世界数据集上将我们的方法与现有基线比较，结果表明 GI 一方面优于更复杂的生成与对抗方法，另一方面也优于更简单的梯度正则化方法。
引用
@article{arxiv.2108.06721,
title = {Training for the Future: A Simple Gradient Interpolation Loss to Generalize Along Time},
author = {Anshul Nasery and Soumyadeep Thakur and Vihari Piratla and Abir De and Sunita Sarawagi},
journal= {arXiv preprint arXiv:2108.06721},
year = {2021}
}