MAviS: 多模态鸟类对话助手

精细的鸟类种类识别和多模态特定问题解答是推动生物多样性保护和生态监测的关键。然而，现有的多模态大语言模型在鸟类学等专业领域面临挑战，难以提供准确且具情境相关性的信息。为此，我们引入了 MAviS 数据集，这是一个规模庞大的多模态鸟类数据集，整合了图像、音频和文本模态，覆盖超过 1000 种鸟类种类，包含预训练和指令微调子集，并丰富了结构化问答对。基于 MAviS 数据集，我们提出了 MAviS-Chat，这是一款支持音频、视觉和文本的多模态大语言模型，旨在实现精细的种类识别、多模态问答和场景特定描述生成。最后，为了进行定量评估，我们提出了 MAviS-Bench，这是一个包含超过 25000 组问答对的基准测试，旨在衡量跨模态的鸟类种类感知和推理能力。实验结果表明，MAviS-Chat 相较于基线模型 MiniCPM-o-2.6 取得显著优势，达到开源领域的最佳水平，证明了我们指令微调的 MAviS 数据集的有效性。我们的发现凸显了在生态应用中对领域适应性多模态大语言模型的必要性。