高分低质数据：多模态一致性度量指标

多模态人工智能系统通过下游任务准确率进行评估，但高准确率并不意味着底层数据具有一致性。模型在视觉问答（VQA）上可能得分很高，但其输入之间却相互矛盾。我们提出了多模态一致性得分（Multimodal Coherence Score, MCS），一种独立于任何下游模型评估融合质量的指标。MCS 将一致性分解为四个维度：身份一致性、空间一致性、语义一致性和决策一致性，权重通过 Nelder-Mead 优化学习。我们在 1,000 张 Visual Genome 图像上使用 DETR、CLIP 和 ViLT 进行评估，并在 150 张 COCO 图像上验证且无需重新训练。在三种融合架构中，MCS 比单独的任务准确率具有更高的区分灵敏度（Spearman rho = 0.093 vs. 0.071）。扰动实验证实每个维度对其对应的失败模式独立响应，维度间无交叉干扰。MCS lightweight，无需人工标注，不仅能告诉你哪里出了问题，还能告诉你具体是什么出了问题。