熵之谜：熵最小化的成功与失败
计算机视觉与模式识别
2024-05-14 v2
摘要
熵最小化（EM）常被用于在测试阶段分类模型面临新数据时提高其准确率。EM是一种自监督学习方法，它优化分类器，使其对最高预测类别分配更高的概率。在本文中，我们分析了为什么EM在模型适配几步时有效，以及为什么在适配许多步后最终失败。我们表明，起初EM会使模型将测试图像嵌入到接近训练图像的位置，从而提高模型准确率。经过多步优化后，EM会使模型将测试图像嵌入到远离训练图像嵌入的位置，导致准确率下降。基于我们的见解，我们提出了一种解决实际问题的方法：在无法获取标签的情况下，估计模型在给定任意数据集上的准确率。该方法通过观察输入图像的嵌入如何随着模型优化以最小化熵而变化来估计准确率。在23个具有挑战性的数据集上的实验表明，我们的方法以 的平均绝对误差达到了SoTA，比该任务上先前的SoTA提升了 。我们的代码可在 https://github.com/oripress/EntropyEnigma 获取。
引用
@article{arxiv.2405.05012,
title = {The Entropy Enigma: Success and Failure of Entropy Minimization},
author = {Ori Press and Ravid Shwartz-Ziv and Yann LeCun and Matthias Bethge},
journal= {arXiv preprint arXiv:2405.05012},
year = {2024}
}