不确定性校准且无遗忘的测试时模型自适应

测试时自适应 (TTA) 旨在通过针对任何测试样本调整给定模型来应对训练与测试数据之间潜在的分布偏移。尽管近期的 TTA 已展现出有前景的性能，我们仍面临两个关键挑战：1) 先前方法对每个测试样本执行反向传播，导致许多应用难以承受的优化成本；2) 虽然现有 TTA 能显著提升分布外数据的测试性能，但它们在 TTA 后往往遭受分布内数据上的严重性能退化（称为遗忘）。为此，我们提出了一种高效抗遗忘测试时自适应 (EATA) 方法，该方法开发了一个主动样本选择准则，以识别可靠且非冗余的样本用于测试时熵最小化。为缓解遗忘，EATA 引入了一个由测试样本估计的 Fisher 正则化项，以约束重要模型参数免于剧烈变化。然而，在 EATA 中，所采用的熵损失始终为预测分配更高置信度，即使对于本质上不确定的样本也是如此，导致过度自信的预测。为解决此问题，我们进一步提出了带校准的 EATA (EATA-C)，以分别利用可约模型不确定性和固有数据不确定性进行校准的 TTA。具体而言，我们通过完整网络与其子网络的预测之间的差异来度量模型不确定性，并据此提出一个差异损失以鼓励一致的预测而非过度自信的预测。为进一步重校准预测置信度，我们利用预测标签间的不一致性作为数据不确定性的指标，然后设计了一个极小极大熵正则化项，以选择性地增加和降低不同样本的预测置信度。在图像分类和语义分割上的实验验证了我们方法的有效性。