测试时适应的层次选择方法

测试时适应（TTA）解决了分布迁移问题，通过在推理期间适应预训练模型以适应新域。当面临困难的迁移时，大多数方法会崩溃，表现不如原始预训练模型。在本文中，我们发现并非所有层对适应都同样敏感，那些最不匹配的梯度往往会导致性能下降。为此，我们提出了一种新的层次选择准则（GALA），用于识别在测试时适应期间执行的最有益更新。这一准则还可以过滤掉带有噪声梯度的不可靠样本。其简单性使其能够无缝集成到现有的 TTA 损失函数中，从而防止性能下降，专注于最有利可行的层进行适应。这一方法还帮助正规化适应，以保留处理未见域所必需的预训练特征。通过广泛的实验，我们展示了该层次选择框架在多个数据集、域迁移、模型架构和 TTA 损失函数方面均能提高现有 TTA 方法的性能。