将频谱图压缩为标记：面向 BirdCLEF+ 2025 的快速轻量化生物声学分类
机器学习
2025-07-14 v1 人工智能
摘要
BirdCLEF+ 2025 挑战要求在 90 分钟的 CPU-only 推理截止 deadline 下对 206 种生物声（包括鸟类、哺乳动物、昆虫和两栖动物）进行分类，使得许多最新深度学习方法在实际操作中不可行。为解决这一限制，DS@GT BirdCLEF 团队探索了两种策略。首先，我们通过优化生物声学模型囤（Bioacoustics Model Zoo）中的预训练模型，为 CPU 推理建立竞争基准。使用 TFLite，我们实现了 Perch 模型几乎 10 倍的推理加速，使其约在 16 分钟内运行，并在赛后公开榜单上获得最终 ROC-AUC 分数为 0.729，私有榜单为 0.711。模型囤中最好的模型是 BirdSetEfficientNetB1，公开得分 0.810，私有得分 0.778。其次，我们引入一种新型轻量级管道，称为 Spectrogram Token Skip-Gram（STSG），将生物声学视为序列建模任务。该方法通过对 Mel 频谱图进行聚类（使用 Faiss K-means）生成离散的“频谱图标记”，随后在无监督方式下使用 Word2Vec skip-gram 模型学习这些标记的高质量上下文嵌入。分类时，对 5 秒窗口内的嵌入进行平均并传递给线性模型。STSG 方法的预测推理时间为 6 分钟即可处理 700 分钟的测试集，最终实现 ROC-AUC 公开得分 0.559，私有得分 0.520，展示了使用具有静态嵌入的快速标记化方法进行生物声学分类的可行性。本论文的代码可在 https://github.com/dsgt-arc/birdclef-2025 查阅。
引用
@article{arxiv.2507.08235,
title = {InsightBuild: LLM-Powered Causal Reasoning in Smart Building Systems},
author = {Pinaki Prasad Guha Neogi and Ahmad Mohammadshirazi and Rajiv Ramnath},
journal= {arXiv preprint arXiv:2507.08235},
year = {2025}
}