利用元信息实现基于音频的零样本鸟类分类
声音
2024-06-12 v2 机器学习
音频与语音处理
摘要
被动声学监测与机器学习的进展已促成大量数据集用于计算生物声学研究。然而，对于稀有和代表性不足物种，数据稀缺仍是一个问题。本研究以鸟类物种为例，探究元信息如何改善零样本音频分类，因其具备丰富多样的元数据。我们考察三种不同元数据来源：经(S)BERT编码的文本鸟鸣描述、功能性状（AVONET）与鸟类生活史（BLH）特征。作为音频特征，我们提取音频频谱图Transformer（AST）嵌入，并采用单一线性层将其投影至辅助信息的维度。随后，我们使用点积作为兼容性函数，并采用标准零样本学习排序铰链损失来确定正确类别。最佳结果通过拼接AVONET与BLH特征取得，在包含8至10个类别的五个不同测试集上获得平均非加权F1分数0.233。
引用
@article{arxiv.2309.08398,
title = {Exploring Meta Information for Audio-based Zero-shot Bird Classification},
author = {Alexander Gebhard and Andreas Triantafyllopoulos and Teresa Bez and Lukas Christ and Alexander Kathan and Björn W. Schuller},
journal= {arXiv preprint arXiv:2309.08398},
year = {2024}
}
备注
Accepted at ICASSP 2024