MAJORScore：一种基于联合表征的多模态相关性新指标
计算机视觉与模式识别
2025-09-29 v1 人工智能
摘要
通常情况下，多模态相关性指标来源于预训练对比学习模型的嵌入能力，用于评估 bimodal 数据之间的相关性（如 CLIP）。然而，常用的评估指标仅适用于两个模态之间的关联分析，严重限制了多模态相似性的评估。本文首次提出 MAJORScore，这是一个用于评估 N (N≥3) 个模态相关性的全新评估指标，通过多模态联合表征实现。联合表征将多个模态整合到相同的潜在空间中，可在同一尺度上准确地表示不同模态，从而为公平的相关性评分提供支持。大量实验表明，与现有方法相比，MAJORScore 在一致模态方面提升 26.03%-64.29%，在不一致模态方面降低 13.28%-20.54%。MAJORScore 可作为大规模多模态数据集和多模态模型性能评估的更可靠指标。
引用
@article{arxiv.2509.21365,
title = {MAJORScore: A Novel Metric for Evaluating Multimodal Relevance via Joint Representation},
author = {Zhicheng Du and Qingyang Shi and Jiasheng Lu and Yingshan Liang and Xinyu Zhang and Yiran Wang and Peiwu Qin},
journal= {arXiv preprint arXiv:2509.21365},
year = {2025}
}