无偏抽样偏差的解析校正
机器学习
2026-05-01 v1
摘要
漂移模型是一类能够跟随漂移场的单步生成模型。该漂移场将引力和排斥的softmax加权质心组合而成，这些质心分别基于数据分布和当前生成器分布。在实际应用中，仅从每个分布中获得小批量的n个样本，每个质心都由经验估计所近似。本文首先表明，小批量质心实际上是目标质心的一个有偏估计，由于softmax自归一化，存在点态O(1/n)的偏差。校正该偏差需要对完整分布的期望进行计算，而这在计算上不可行。我们因此从批内统计量中近似主导偏差项，提出解析无偏校正(ABC)方法，这是一种闭形式的插值调整。我们证明，ABC可将偏差从O(1/n)降低至O(1/n²)，不会引起总方差的第一阶增加，且保持校正后质心的凸包包含性。在实际操作中，ABC仅需两行额外代码，在编译执行下几乎没有墙时开销。 toy 实验确认了理论上的O(1/n)和O(1/n²)标度。在CIFAR-10上，ABC显著降低了FID指标并加速了训练，尤其在n较小且偏差最为显著时获得最大提升。
关键词
引用
@article{arxiv.2604.27239,
title = {Analytical Correction for Subsampling Bias in Drifting Models},
author = {Jiaru Zhang and Zeyun Deng and Juanwu Lu and Ziran Wang and Ruqi Zhang},
journal= {arXiv preprint arXiv:2604.27239},
year = {2026}
}