解除 Patch Token 的静默：重新思考多标签音频分类中的探针

尽管对冻结模型进行探针测试已成为一种标准的评估范式，但在追求 AudioSet 上的 SOTA 时，音频领域的自监督学习默认采用微调。一个关键原因在于全局池化造成了信息瓶颈，导致线性探针误判嵌入质量：$\texttt{cls}$-token 丢弃了关于音频中分散、局部事件的关键 token 信息。这一缺陷根源于预训练目标（全局）与下游任务（局部）之间的不匹配。在包含 13 个数据集和 6 个基于频谱图的编码器的综合基准测试中，我们研究了全局池化瓶颈。我们引入了二值化原型探针：一种轻量且简单的池化方法，通过学习原型来执行逐类信息聚合。尽管方法简单，它在性能上显著优于线性探针与注意力探针。我们的工作确立了探针测试作为评估音频 SSL 模型的竞争性且高效范式的地位，挑战了对昂贵微调的依赖。