Panda：基于负数据增广的测试时适应

预训练视觉语言模型（VLM）在零样本分类任务中表现出强大的零样本分类能力，但在常见图像损坏情况下，其预测性能会显著下降。为提高鲁棒性，许多测试时适应（TTA）方法采用正数据增广（PDA），通过生成每个测试样本的多个视图来降低预测方差。然而，这些方法存在两个关键局限：其一，会因每个图像所需的大量增广而导致相当大的计算开销；其二，PDA无法缓解预测偏差——即模型在损坏输入下倾向于对某些类别进行不成比例预测，因为PDA作用于受损坏输入且通常不去除损坏本身。为解决这些挑战，我们提出了Panda，这是一种基于负数据增广（NDA）的新型TTA方法。不同于保留对象语义的正增广，Panda通过扰乱语义内容来生成负增广。它将图像划分为多个小块，并从共享的块组中随机拼接这些小块。这些负性增广图像保留损坏特定特征，同时丢弃与对象相关的信号。我们随后从这些负样本的均值特征中减去原始图像特征，从而有效抑制与损坏相关的成分，同时保留与类别相关的信息。这一机制可缓解分布迁移下的预测偏差。Panda允许增广在批处理内的样本之间共享，从而实现最小的计算开销。Panda可以无缝集成到现有的测试时适应框架中，显著提升其鲁棒性。我们的实验表明，Panda在性能上优于PDA方法，且广泛的TTA方法在集成Panda后表现出显著的性能提升。我们的代码已发布在 https://github.com/ruxideng/Panda。