对比解码如何提升大型音频语言模型？
声音
2026-03-11 v1 计算与语言
音频与语音处理
摘要
虽然对比解码 (CD) 在提升大型音频语言模型 (LALM) 方面已证明有效，但其成功背后的机制及不同策略的比较效应仍不明确。本研究系统评估了四种不同 CD 策略在多样化 LALM 架构中的表现。我们识别出 Audio-Aware Decoding 与 Audio Contrastive Decoding 为最有效的方法，但其影响因模型而异。为解释这种差异，我们引入过渡矩阵框架映射推理期间的错误模式转移。我们的分析表明，CD 可靠地纠正了哪些模型错误地声称不存在音频或依赖不确定性推断的错误；相反，它无法纠正错误的推理或自信的错误断言。最终，这些发现为基于基线错误轮廓确定哪些 LALM 架构最适合 CD 增益提供了明确指导。
引用
@article{arxiv.2603.09232,
title = {How Contrastive Decoding Enhances Large Audio Language Models?},
author = {Tzu-Quan Lin and Wei-Ping Huang and Yi-Cheng Lin and Hung-yi Lee},
journal= {arXiv preprint arXiv:2603.09232},
year = {2026}
}
备注
Submitted to INTERSPEECH 2026. Code and additional analysis results are provided in our repository: https://github.com/nervjack2/LALM-Contrastive-Decoding-Error-Profiles