基于集成熵与梯度范数的增强测试时间适应方法 ETAGE
机器学习
2024-09-17 v1 人工智能
摘要
测试时间适应(TTA)为深度学习模型提供了处理与训练分布偏离的测试数据的能力，即使源数据不可访问。尽管传统TTA方法常依赖熵作为置信度度量，但其效果在偏斜情形下有限。我们在现有方法如伪标签概率差(PLPD)的基础上，引入ETAGE这一改进TTA方法，将熵最小化与梯度范数和PLPD相结合，以增强样本选择和适应。我们的方法优先考虑那些不太可能导致不稳定性的样本，通过结合高熵和适应后的高梯度范数来实现这一点，从而避免了先前方法中常见的对噪声的过拟合。在CIFAR-10-C和CIFAR-100-C数据集上的大量实验表明，我们的方法在挑战性和偏斜情形下优于现有TTA技术，实现了在多样化测试情形下的更稳健和一致的模型性能。ETAGE的代码已在https://github.com/afsharshamsi/ETAGE上提供。
引用
@article{arxiv.2409.09251,
title = {ETAGE: Enhanced Test Time Adaptation with Integrated Entropy and Gradient Norms for Robust Model Performance},
author = {Afshar Shamsi and Rejisa Becirovic and Ahmadreza Argha and Ehsan Abbasnejad and Hamid Alinejad-Rokny and Arash Mohammadi},
journal= {arXiv preprint arXiv:2409.09251},
year = {2024}
}