FlexAC：面向多模态大语言模型的灵活关联推理控制
摘要
多模态大语言模型（MLLMs）面临一种内在的权衡：在忠实性和创造性之间进行权衡，因为不同任务需要不同的关联推理程度。然而，现有方法缺乏灵活调节这种推理强度的能力，限制了 MLLMs 在事实性和创造性场景中的适应性。为弥合这一差距，我们提出为 MLLMs 配备机制，以实现对关联推理的灵活控制。我们首先研究了 MLLMs 内部机制中支配关联行为的机制，发现：（1）中间层在塑造模型关联倾向方面起到关键作用；（2）修改这些层的表示能够有效调节关联推理强度；（3）草率现象可被利用以导出引导此调节的驾驶向量。基于这些发现，我们引入灵活关联控制（Flexible Association Control, FlexAC），这是一种轻量级且无需训练的框架，用于调节 MLLMs 中的关联行为。FlexAC 首先诱导草率引导的中间表示以编码关联方向。随后，它选择高关联实例以构建有效的关联驾驶向量，并自适应校准其强度，以平衡创意指导与输出稳定性。最后，认识到关联推理的多维性质，FlexAC 融合来自少量目标域样本的前向传递派生的任务特定关联向量，使模型能够遵循多样化的关联方向，更好地适应创意任务。值得注意的是，我们的方法在 Creation-MMBench 上实现了创造性提升最高可达 5.8 倍，在CHAIR 上实现了草率率降低 29%，超越了现有基线，展示了在 MLLMs 中实现灵活关联推理控制方面的有效性。我们的代码已公开于 https://github.com/ylhz/FlexAC。
引用
@article{arxiv.2510.11190,
title = {FlexAC: Towards Flexible Control of Associative Reasoning in Multimodal Large Language Models},
author = {Shengming Yuan and Xinyu Lyu and Shuailong Wang and Beitao Chen and Jingkuan Song and Lianli Gao},
journal= {arXiv preprint arXiv:2510.11190},
year = {2025}
}
备注
19 pages, 11 figures. Accepted by the 39th Conference on Neural Information Processing Systems (NeurIPS 2025)