LookSharp：面向测试时适应的注意力熵最小化
计算机视觉与模式识别
2026-02-10 v3
摘要
测试时适应 (TTA) 在推理期间更新模型以减少分布迁移上的误差。虽然对输出分布的熵最小化已被证明作为 TTA 损失有效，但我们研究使用注意力机制中计算的中间分布。我们提出了 LookSharp，通过最小化最终层中 CLS 到 patch 注意力的熵作为一种新型 TTA 目标，鼓励模型在处理分布迁移数据时保持聚焦注意力。我们在 ImageNet-C 上证明了注意力熵最小化提高了鲁棒性。我们还展示了它与输出熵最小化是互补的，并且在干净数据上保持性能。
引用
@article{arxiv.2511.18925,
title = {LookSharp: Attention Entropy Minimization for Test-Time Adaptation},
author = {Yash Mali and Evan Shelhamer},
journal= {arXiv preprint arXiv:2511.18925},
year = {2026}
}
备注
imagenet, author update