面向细粒度鸟鸣分析的数据高效自监督算法
机器学习
2026-05-20 v3
摘要
生物声学、神经科学和语言学等领域的研究常常以鸟鸣作为跨领域获取知识的代理。这需要音频模型对鸟鸣进行标注和解析。 developing 此类模型需要精确的、 syllable 级别的标注训练数据。因此，正在寻求能降低标注成本的自动化方法。本工作提出一种名为残差多层感知器循环神经网络的数据高效鸟鸣标注器。随后，我们提出了三阶段的训练管道，用于开发在极少标注情况下的可靠鸟鸣 syllable 检测器。第一阶段是从无标签数据中进行自监督学习。探索了两种最成功的预训练范例，即掩码预测和在线聚类。第二阶段是使用有效数据增强进行监督训练，以为每个个体产生稳健的 frame 级别 syllable 检测器。第三阶段是使用无标签数据对每个个体的模型进行半监督后训练。我们的方法在极端标签稀缺情景下的 Canary 鸟鸣中得到有效性验证。从信号处理的角度看，Canary 鸟鸣呈现出一种算法时间序列标注中最具挑战性的 spectrogram 时频模式：快速的鸣叫、较短的 syllable 间隔、快速且宽带的频率扫频，以及在细粒度特征上难以区分的相似 syllable。因此，成功的 Canary syllable 检测算法也为其他鸟类的 syllable 检测奠定了稳健的基线。本方法的这种方法论泛化性在 Bengalese Finch 鸟鸣标注的案例研究中得到验证。最后，评估了自监督嵌入在线性探测和无监督鸟鸣分析中的潜力。
引用
@article{arxiv.2511.12158,
title = {Data-Efficient Self-Supervised Algorithms for Fine-Grained Birdsong Analysis},
author = {Houtan Ghaffari and Lukas Rauch and Paul Devos},
journal= {arXiv preprint arXiv:2511.12158},
year = {2026}
}