混合信号：理解多模态同理心检测中的模型 disagreement

多模态模型在同理心检测中发挥着关键作用，但当不同模态提供冲突线索时，性能可能受到影响。为理解这些失败，我们检查单模态和多模态预测发生偏差的情况。使用针对文本、音频和视频微调的模型，以及一个门控融合模型，我们发现此类 disagreement 往往反映出底层模糊性，作为证据由注释者不确定性所证明。我们的分析表明，一个模态中的主导信号可能在缺乏其他模态支持时误导融合。我们还观察到，就像模型一样，人类并不始终从多模态输入中受益。这些见解将 disagreement 定位为一种有用的诊断信号，用于识别具有挑战性的示例并提高同理心系统的鲁棒性。