熵不足以应对测试时适应：基于解耦因子的视角
计算机视觉与模式识别
2024-03-13 v1 机器学习
摘要
测试时适应（TTA）针对未见过的测试数据对预训练的深度神经网络进行微调。TTA 的主要挑战在于在线更新期间无法访问完整的测试数据集，从而导致误差累积。为缓解这一问题，TTA 方法利用模型输出的熵作为置信度指标，旨在确定哪些样本导致误差的可能性较低。然而，通过实验研究，我们观察到在偏差场景下熵作为 TTA 置信度指标的不可靠性，并从理论上揭示了其根源在于忽视了数据潜在解耦因子对预测的影响。基于这些发现，我们提出了一种名为 Destroy Your Object (DeYO) 的新型 TTA 方法，该方法利用一种新提出的名为伪标签概率差（Pseudo-Label Probability Difference, PLPD）的置信度指标。PLPD 通过测量应用物体破坏性变换前后的预测差异，量化物体形状对预测的影响。DeYO 包含样本选择和样本加权，同时利用熵和 PLPD。为了实现鲁棒的适应，DeYO 优先选择在预测中主要包含形状信息的样本。我们在各种场景（包括偏差场景和野外场景）下的大量实验表明，DeYO 始终优于基线方法。项目页面公开于 https://whitesnowdrop.github.io/DeYO/。
引用
@article{arxiv.2403.07366,
title = {Entropy is not Enough for Test-Time Adaptation: From the Perspective of Disentangled Factors},
author = {Jonghyun Lee and Dahuin Jung and Saehyung Lee and Junsung Park and Juhyeon Shin and Uiwon Hwang and Sungroh Yoon},
journal= {arXiv preprint arXiv:2403.07366},
year = {2024}
}
备注
ICLR 2024 Spotlight; 26 pages, 9 figures, 20 tables;