MLLMs 中的视觉表示法律
计算机视觉与模式识别
2025-10-07 v3
摘要
我们提出了 MLLMs（多模态大语言模型）中的“视觉表示法则”。它揭示了跨模态对齐、视觉表示中的对应性以及 MLLM 性能之间的强相关性。我们量化了这两个因素，使用跨模态对齐和对应性得分（AC score）。通过涉及 thirteen 种不同的视觉表示设置和在 eight 个基准测试中的广泛实验，我们发现 AC score 与模型性能呈线性相关。利用这一关系，我们能够仅识别和训练最佳视觉表示，而无需每次都微调语言模型，从而实现了 99.7% 的计算成本降低。
引用
@article{arxiv.2408.16357,
title = {Law of Vision Representation in MLLMs},
author = {Shijia Yang and Bohan Zhai and Quanzeng You and Jianbo Yuan and Hongxia Yang and Chenfeng Xu},
journal= {arXiv preprint arXiv:2408.16357},
year = {2025}
}
备注
The code is available at https://github.com/bronyayang/Law_of_Vision_Representation_in_MLLMs