理解混合对抗训练中的双 BN

在对抗训练（AT）中应用批归一化（BN）引起了越来越多的关注，尤其是当模型同时在对抗样本和干净样本上训练时（称为 Hybrid-AT）。在假设对抗样本和干净样本来自两个不同领域的前提下，先前工作中的一个常见做法是采用双 BN，即分别将 BN 用于对抗分支和干净分支。推动双 BN 的一个普遍观点是，估计这种混合分布的归一化统计量具有挑战性，因此将其解耦进行归一化可以获得更强的鲁棒性。与这一观点相反，我们揭示了解耦统计量在模型训练中所起的作用小于解耦仿射参数。这一发现与先前工作（Rebuffi et al., 2023）一致，我们在其研究基础上进行了进一步探索。我们证明对抗样本和干净样本之间的领域差距并不大，考虑到对抗扰动对模型准确率的显著影响，这有悖于直觉。我们进一步提出了一个双任务假设，作为 Hybrid-AT 改进的实证基础和统一框架。我们还研究了测试时的双 BN，并揭示仿射参数表征了推理期间的鲁棒性。总体而言，我们的工作为理解双 BN 在 Hybrid-AT 中的机制及其潜在合理性提供了新的视角。