全局鸟鸣嵌入赋能生物声学分类的优越迁移学习
音频与语音处理
2023-12-22 v2 声音
摘要
自动化生物声学分析有助于在广阔时空尺度上理解并保护海洋与陆地动物及其栖息地，通常涉及对海量声学数据的分析。随着深度学习模型的出现，从这些数据集中分类重要信号的能力已显著提升。这些模型为生物多样性监测、动物行为研究和自然资源管理中的研究与决策提供了关键数据分析。然而，深度学习模型通常数据需求量大，需要大量标注训练数据才能表现良好。尽管某些分类群（如常见鸟类）有充足的训练数据，许多类别（如珍稀濒危物种、许多非鸟类类群以及呼叫类型）缺乏足够数据从零训练鲁棒模型。本研究探讨了利用从音频分类模型提取的特征嵌入来识别这些模型最初训练之外的生物声学类别的效用。我们在多样数据集上评估模型，包括不同鸟鸣与方言类型、蝙蝠叫声、海洋哺乳动物叫声和两栖动物叫声。从鸟类发声数据训练的模型中提取的嵌入一致允许比从通用音频数据集训练的嵌入更高质量的分类。本研究结果表明，来自大规模声学鸟类分类器的高质量特征嵌入可用于少样本迁移学习，从而能从有限数量的训练数据中学习新类别。我们的发现揭示了即便在可用训练数据仅限少量样本的情况下，对新生物声学任务进行高效分析的潜力。
引用
@article{arxiv.2307.06292,
title = {Global birdsong embeddings enable superior transfer learning for bioacoustic classification},
author = {Burooj Ghani and Tom Denton and Stefan Kahl and Holger Klinck},
journal= {arXiv preprint arXiv:2307.06292},
year = {2023}
}