多层注意力探针提升生物声学音频表征的迁移能力
声音
2026-05-12 v1 人工智能
摘要
探针头将由机器学习模型从音频中学习的表征映射到下游任务标签，是评估表征学习关键组件。大多数生物声学基准使用固定、低容量的探针（如线性层）作为最终编码器层的探针。虽然这种标准化做法可实现模型比较，但可能因忽略编码器特征与探针设计之间的相互作用而偏颇结果。在本工作中，我们系统性地研究了在两个生物声学基准（BEANs 和 BirdSet）上的不同探针策略。我们评估了最后层探针与多层探针，以及线性探针与注意力探针。我们表明，利用时间信息的更大规模探针头性能优越。我们的结果表明，依赖于最后层探针设置的当前基准可能误表述编码器质量。多层探针在所有测试模型上均提升了下游任务性能，而注意力探针在Transformer模型中性能优于线性探针。
引用
@article{arxiv.2605.10494,
title = {Multi-layer attentive probing improves transfer of audio representations for bioacoustics},
author = {Marius Miron and David Robinson and Masato Hagiwara and Titouan Parcollet and Jules Cauzinille and Gagan Narula and Milad Alizadeh and Ellen Gilsenan-McMahon and Sara Keen and Emmanuel Chemla and Benjamin Hoffman and Maddie Cusimano and Diane Kim and Felix Effenberger and Jane K. Lawton and Aza Raskin and Olivier Pietquin and Matthieu Geist},
journal= {arXiv preprint arXiv:2605.10494},
year = {2026}
}