在线设定下的持续密度比估计

在具有流数据的在线应用中，知晓训练集或测试集偏离原始数据集的程度对模型性能可能至关重要。然而，我们可能无法获取数据流中的历史样本。为应对此类情形，我们提出一种新方法——持续密度比估计（Continual Density Ratio Estimation, CDRE），用于以迭代方式估计数据流初始分布与当前分布（$p/q_t$）之间的密度比，而无需存储过往样本，其中 $q_t$ 随时间 $t$ 逐渐偏离 $p$。我们证明，尽管不需要原始分布的样本，CDRE 在估计分布间散度时比标准 DRE 更准确。CDRE 可应用于在线学习场景，如重要性加权协变量偏移、追踪数据集变化以辅助决策。此外，CDRE 能够在持续学习设定下评估生成模型。据我们所知，现有方法均无法在不存储原始分布样本的情况下于持续学习中评估生成模型。