解析面向真实测试时自适应的批归一化

尽管近来的测试时自适应方法通过调整批归一化以缩小域差异而展现出有效性，但在真实的mini-batch下，由于目标估计不准确，其有效性会降低。由于先前的尝试仅引入源统计量来缓解此问题，目标估计不准确这一根本问题依然存在，导致内在的测试时域偏移未被解决。本文深入探讨了mini-batch退化问题。通过解析批归一化，我们发现不准确的目标统计量主要源于batch中类别多样性的大幅降低。基于这一洞察，我们引入了一个简洁的工具，即测试时指数移动平均（TEMA），以弥合训练batch和测试batch之间的类别多样性差距。重要的是，我们的TEMA自适应地将典型方法的范围扩展到当前batch之外，以纳入多样化的类别信息，从而促进准确的目标估计。在此基础之上，我们进一步设计了一种新颖的逐层校正策略，以持续提升测试时性能。我们提出的方法具有独特优势，因为它既不需要训练也不需要调参，提供了一个真正无忧的解决方案。它显著增强了模型对偏移域的鲁棒性，并在具有各种batch大小的多样真实世界场景中保持弹性，在几个主要基准上取得了SOTA性能。代码可在 \url{https://github.com/kiwi12138/RealisticTTA} 获取。