事后特征对齐在鲁棒性上的局限性

特征对齐是一种通过匹配训练分布与测试分布间特征激活分布来提升分布偏移鲁棒性的方法。一种尤为简单而有效的特征对齐方法是在训练好的神经网络中对齐两分布的批归一化统计量。该技术近期因在鲁棒性基准上的优异表现而重新受到关注。然而，该方法何时及为何有效尚不明晰。我们更细致地考察该方法并识别出若干局限性。我们表明其仅对一小类分布偏移有显著帮助，且识别出若干其甚至恶化性能的情形。我们还通过定位该方法起初为何如此有效的原因，解释了这些局限性的由来。我们的发现对该方法以及更广义的无监督域适应在实际中提升鲁棒性的效用提出质疑。