Active Bird2Vec：面向端到端鸟声监测的Transformer方法
声音
2023-11-22 v2 人机交互
机器学习
音频与语音处理
摘要
我们提出通过结合自监督学习（SSL）和深度主动学习（DAL）实现鸟声监测中端到端学习的转变。利用transformer模型，我们旨在绕过传统的谱图转换，实现直接原始音频处理。ActiveBird2Vec旨在通过SSL生成高质量的鸟声表示，有可能加速风电场的环境变化评估和决策过程。此外，我们寻求通过DAL利用种类繁多的鸟类鸣声，减少对人类专家大量标注数据集的依赖。我们计划通过Huggingface Datasets策划一套综合任务，增强生物声学未来研究的可比性与可复现性。将开展多种transformer模型间的比较分析，以评估它们在鸟声识别任务中的能力。我们旨在加速鸟类生物声学研究的进展，并有助于更有效的保护策略。
引用
@article{arxiv.2308.07121,
title = {Active Bird2Vec: Towards End-to-End Bird Sound Monitoring with Transformers},
author = {Lukas Rauch and Raphael Schwinger and Moritz Wirth and Bernhard Sick and Sven Tomforde and Christoph Scholz},
journal= {arXiv preprint arXiv:2308.07121},
year = {2023}
}
备注
Accepted @AI4S ECAI2023. This is the author's version of the work