面向多模态情感分析的大与小模型不确定性感知协同系统
计算与语言
2026-01-21 v2 机器学习
摘要
多模态大语言模型（MLLMs）显著提升了多模态情感分析（MSA）的性能，但其庞大的参数规模导致训练和推理过程中资源消耗过高，严重限制了模型效率。为平衡 MSA 的性能与效率，本文创新性地提出了一种新颖的不确定性感知协同系统（U-ACS），将不确定性感知基线模型（UBM）与 MLLMs 相结合。U-ACS 分三个阶段运行：首先，所有样本由 UBM 处理，保留高置信度样本并将低置信度样本转发至 MLLM。值得注意的是，为应对回归任务的连续输出阻碍不确定性计算的挑战，我们创新性地将连续的情感标签预测任务转化为分类任务，从而能够更准确地计算熵与不确定性。其次，MLLM 执行初步处理。在此阶段，高置信度样本或预测情感极性与 UBM 一致的低置信度样本被视为可接受，而不合格的样本则被转发以进一步处理。最后，MLLM 利用增强了先前轮次预测作为参考的提示，对剩余的低置信度样本执行二次推理。通过聚合三个阶段的结果，U-ACS 保持了较高的 MSA 预测准确率，同时通过将大多数简单样本卸载至 UBM 并最小化 MLLM 处理量，大幅提升了效率。大量实验验证了 U-ACS 在保持卓越性能的同时，显著降低了计算开销与资源消耗。
引用
@article{arxiv.2509.04459,
title = {Uncertainty-Aware Collaborative System of Large and Small Models for Multimodal Sentiment Analysis},
author = {Shiqin Han and Manning Gao and Menghua Jiang and Yuncheng Jiang and Haifeng Hu and Sijie Mai},
journal= {arXiv preprint arXiv:2509.04459},
year = {2026}
}