Audio Flamingo 3：推进基于完全开放的大型音频语言模型的音频智能
声音
2025-07-30 v2 人工智能
计算与语言
音频与语音处理
摘要
我们提出了 Audio Flamingo 3（AF3），这是一款完全开放的状态最佳（SOTA）大型音频语言模型，旨在跨语音、声音和音乐三大模态进行推理与理解。AF3 引入了：（i）AF-Whisper，一种通过新颖策略在语音、声音和音乐三大模态上进行联合表征学习的统一音频编码器；（ii）灵活的按需思考，使模型在作答前能够进行链式思考式推理；（iii）多轮、多音频对话；（iv）最长可达 10 分钟的音频理解与推理（包括语音）；（v）语音到语音的交互。为实现这些功能，我们提出了若干大规模训练数据集，通过新颖策略筛选，包括 AudioSkills-XL、LongAudio-XL、AF-Think 和 AF-Chat，并采用新颖的五阶段课程式训练策略来训练 AF3。仅使用开源音频数据训练，AF3 在超过 20 项（长时）音频理解与推理基准测试中取得了新的 SOTA 成绩，超越了训练数据量大得多的开源权重模型和闭源模型。
引用
@article{arxiv.2507.08128,
title = {Audio Flamingo 3: Advancing Audio Intelligence with Fully Open Large Audio Language Models},
author = {Arushi Goel and Sreyan Ghosh and Jaehyeon Kim and Sonal Kumar and Zhifeng Kong and Sang-gil Lee and Chao-Han Huck Yang and Ramani Duraiswami and Dinesh Manocha and Rafael Valle and Bryan Catanzaro},
journal= {arXiv preprint arXiv:2507.08128},
year = {2025}
}
备注
Code, Datasets, and Models: https://research.nvidia.com/labs/adlr/AF3/ ; Updates in v2: Updated results for new thinking mode ckpts, added qualitative figure, added note on fully open claim, add email ID for corresponding authors