注意力，来吧！从效率角度重新审视注意力探测技术

随着大规模微调变得不切实际，探测技术正成为首选的评估协议。然而，标准的线性探测可能会低估那些预训练模型能力的模型，这些模型的预训练优化的是局部表征而非显式的全局表征。这就动机了注意力探测——一种使用注意力机制对patch级别特征进行选择性聚合的替代方法。尽管注意力探测的应用日益增长，但仍未得到充分探索：现有方法往往存在过参数化和计算效率低下的问题。本文通过准确性与参数效率权衡的视角，重新审视注意力探测。我们present首个全面研究，分析了设计选择并基准测试了各方法性能。基于这些洞见，我们提出了高效探测（EP），一种轻量且有效的多查询交叉注意力机制，旨在消除冗余投影并减少可训练参数数量。在多个基准测试和预训练范式下，EP consistently优于线性探测和之前的注意力探测方法，并在与参数高效微调结合时仍保持有效性。除评估外，我们的分析发现了EP的若干新兴属性，包括互补注意力图，这为超越协议设计的探索开辟了新方向。项目页面: https://vrg.fel.cvut.cz/ep/。