用于测试时适应的自适应去偏 Tsallis 熵
计算机视觉与模式识别
2026-02-13 v1
摘要
主流的视觉语言模型测试时适应方法（如 CLIP）通常依赖于 Shannon 熵来衡量预测不确定性和不一致性。然而，由于 CLIP 在高度不平衡的网络爬虫数据上进行预训练，内置偏差导致 Shannon 熵不可避免地产生偏置的不确定性熵估计。为此，我们发现并证明，Tsallis 熵（TE）是一种更适合于刻画偏置分布的 generalized 形式，通过引入非可加性参数 q 实现，Shannon 熵的性能作为 TE 的下界。基于此，我们将 TE 推广为用于测试时适应的自适应去偏 Tsallis 熵（ADTE），为每个类别规范化来自持续输入测试实例的估计标签偏差，以得到类别特定参数 。这种自适应方法使 ADTE 能够准确选择高置信度视图，并无需引入分布特定的超参数调整即可无缝集成到标签调整策略中以增强适应性。此外，我们的研究表明，TE 和 ADTE 都可作为 Shannon 熵在测试时适应中的直接、先进的替代方案，无需其他修改。实验结果表明，ADTE 在 ImageNet 及其五个变体上超越了最先进的方法，并在 10 个跨域基准测试中实现最高平均性能，无论使用何种模型架构或文本提示。我们的代码可在 https://github.com/Jinx630/ADTE 获取。
引用
@article{arxiv.2602.11743,
title = {Adaptive Debiasing Tsallis Entropy for Test-Time Adaptation},
author = {Xiangyu Wu and Dongming Jiang and Feng Yu and Yueying Tian and Jiaqi Tang and Qing-Guo Chen and Yang Yang and Jianfeng Lu},
journal= {arXiv preprint arXiv:2602.11743},
year = {2026}
}
备注
Accepted for publication at ICLR 2026; 24 pages; 5 figures