基于漂移感知动态神经网络的时间域泛化
机器学习
2023-02-13 v3
摘要
时间域泛化是一个有前景但极具挑战性的领域，其目标是在时间变化的数据分布下学习模型，并泛化到遵循变化趋势的未知数据分布。该领域的进展受到以下挑战：1）刻画数据分布漂移及其对模型的影响，2）在跟踪模型动态时的表达能力，3）性能的理论保证。为解决这些问题，我们提出了一种基于漂移感知动态神经网络的时间域泛化（DRAIN）框架。具体而言，我们将该问题公式化为一个贝叶斯框架，联合建模数据与模型动态之间的关系。然后，我们构建了一个循环图生成场景来刻画跨不同时间点学习的动态图结构神经网络。它捕获了模型参数和数据分布的时间漂移，并能在无未来数据的情况下预测未来模型。此外，我们探讨了在极具挑战的时间域泛化设定下模型性能的理论保证，并提供了包括不确定性和泛化误差的理论分析。最后，在多个具有时间漂移的真实基准上的大量实验证明了所提方法的有效性和高效性。
引用
@article{arxiv.2205.10664,
title = {Temporal Domain Generalization with Drift-Aware Dynamic Neural Networks},
author = {Guangji Bai and Chen Ling and Liang Zhao},
journal= {arXiv preprint arXiv:2205.10664},
year = {2023}
}
备注
Published in ICLR 2023 (Oral)