模型融合提升生物声学基础模型的零样例泛化能力
机器学习
2025-11-20 v2 人工智能
声音
摘要
具备跨物种和跨任务泛化能力的基础模型代表了生物声学领域的新兴前沿，NatureLM便是其中最突出的示例之一。尽管其领域特定微调在生物声学基准测试上取得优异性能，但我们注意到它也会在指令遵循灵活性方面带来权衡。例如，NatureLM在单独请求常见名称或学术名称时可达高准确率，但当两者同时请求时准确率会显著下降。我们通过对NatureLM与其基础语言模型进行简单插值式模型融合来解决此问题，最小损失地恢复指令遵循能力。最后我们表明，融合模型在零样例泛化方面表现显著提升，实现超过200%的相对改进，并在闭合域零样例分类未见物种中设立了新纪录。
引用
@article{arxiv.2511.05171,
title = {Model Merging Improves Zero-Shot Generalization in Bioacoustic Foundation Models},
author = {Davide Marincione and Donato Crisostomi and Roberto Dessi and Emanuele Rodolà and Emanuele Rossi},
journal= {arXiv preprint arXiv:2511.05171},
year = {2025}
}