Connector-S：多模态大语言模型中连接器的综述
机器学习
2025-02-18 v1 人工智能
摘要
随着多模态大语言模型（MLLMs）的快速发展，连接器在桥接不同模态并提升模型性能方面发挥着关键作用。然而，连接器的设计与演进尚未得到全面分析，导致我们难以理解这些组件的功能，进而阻碍了更强大连接器的开发。在本综述中，我们系统性地审查了 MLLMs 中连接器的当前进展，并提出了结构化分类法，将连接器分为原子操作（映射、压缩、专家混合）和整体设计（多层、多编码器、多模态场景），突出它们的技术贡献与进展。此外，我们讨论了若干有前景的研究前沿与挑战，包括高分辨率输入、动态压缩、指导信息选择、组合策略以及可解释性。本综述旨在为研究人员提供基础参考和清晰的路线图，提供关于连接器设计与优化的宝贵见解，以提升 MLLMs 的性能和适应性。
引用
@article{arxiv.2502.11453,
title = {Connector-S: A Survey of Connectors in Multi-modal Large Language Models},
author = {Xun Zhu and Zheng Zhang and Xi Chen and Yiming Shi and Miao Li and Ji Wu},
journal= {arXiv preprint arXiv:2502.11453},
year = {2025}
}