利用变分推断改进音频问答
音频与语音处理
2026-01-21 v1 声音
摘要
变分推断为估计模型参数的后验分布提供了一个有原则的框架，使得在优化过程中能够对权重不确定性进行显式建模。通过捕捉这种不确定性，变分推断提高了预测的可靠性，从而产生校准更好的输出。在本工作中，我们通过将近期提出的变分推断优化器 Improved Variational Online Newton (IVON) 应用于多模态大语言模型在音频问答任务上的微调，研究了变分推断对于具有挑战性的多模态理解与推理的益处。我们的结果表明，变分推断不仅提高了预测准确性，还显著改善了校准效果，降低了模型的过度自信。这些进展进一步支持了诸如选择性预测等对风险敏感的应用，在这些应用中，可靠的置信度估计至关重要。
引用
@article{arxiv.2601.12700,
title = {Improving Audio Question Answering with Variational Inference},
author = {Haolin Chen},
journal= {arXiv preprint arXiv:2601.12700},
year = {2026}
}
备注
ICASSP 2026