基于扩散重建的数据似然估计用于核心集选择

现有的核心集选择方法主要依赖训练动态或模型不确定性等启发式评分信号，缺乏对数据似然的显式建模。这一缺失可能阻碍所构建的子集捕捉支撑有效模型训练的细微但关键的分布结构。在本工作中，我们提出了一种新颖的、理论上有依据的方法，利用扩散模型通过部分逆去噪诱导的重建偏差来估计数据似然。具体而言，我们在马尔可夫扩散过程的证据下界（ELBO）基础上建立了重建误差与数据似然之间的形式联系，从而为数据选择提供了一种基于分布感知的原则性评分准则。此外，我们引入了一种高效的信息论方法来识别最优重建时间步，确保偏差能够提供可靠的、反映底层数据似然的信号。在ImageNet上的大量实验表明，重建偏差提供了一种有效的评分准则，在各选择比例下始终优于现有基线，并且仅使用50%的数据即可接近全数据训练效果。进一步分析表明，我们的评分所具有的似然引导特性揭示了数据选择中的信息性洞察，阐明了数据分布特征与模型学习偏好之间的相互作用。