安静的力量：无关音频对大型音频语言模型中文本推理的影响

大型音频语言模型（LALM）整合了语音和文本处理，但其在噪声实际场景中的鲁棒性仍未得到充分探索。本文研究了无关音频（如静音、合成噪声和环境声）对文本推理任务中表现的影响，这些任务中音频并非必要。在三个基于文本的基准测试中发现，甚至是非信息性音频都会降低准确率并增加预测波动性；干扰程度随音频时长增长、振幅升高以及解码温度提升而加剧。静音常被视为中性，但其对输出稳定性的影响与合成噪声相当。虽然更大的模型显示出更大的韧性，但所有评估系统仍存在脆弱性。我们进一步测试了缓解策略，发现提示词（prompting）的效果有限，而自洫一致性（self-consistency）能提升稳定性，但代价是计算成本的增加。我们的结果揭示了跨模态干扰作为关键鲁棒性挑战，并突显了在存在无关输入时保持推理性能的高效融合策略的必要性。