多模态大语言模型推理的外分布 generalizes
机器学习
2026-02-18 v1 计算机视觉与模式识别
摘要
将推理集成到大语言模型和大视觉语言模型中最近导致了显著的能力提升。然而，推理模型的外分布（out-of-distribution）泛化仍然模糊地定义且理解不足。本文我们提出了一个评估框架，严格检验链式思维（CoT）方法在简单规划任务上的泛化能力。具体而言，我们考虑基于网格的导航任务，模型被提供地图，必须输出一系列动作以引导玩家从起始位置到达目标位置，同时避免障碍物。该任务的灵活性及其数据允许我们使用不同的输入表示（视觉和文本）和CoT推理策略对模型变体进行微调，并在旁分布（in-distribution）和外分布（out-of-distribution）测试条件下进行系统评估。我们的实验表明，尽管CoT推理在所有表示上都提高了旁分布泛化，但当控制与旁分布数据中的平凡匹配时，外分布泛化（例如针对更大地图）在大多数情况下仍然有限。令人惊讶的是，我们发现将多种文本格式组合的推理痕迹能获得最佳（且非平凡）的外分布泛化。最后，纯文本模型始终优于利用图像输入的模型，包括最近提出的依赖于潜在空间推理的方法。
引用
@article{arxiv.2602.15460,
title = {On the Out-of-Distribution Generalization of Reasoning in Multimodal LLMs for Simple Visual Planning Tasks},
author = {Yannic Neuhaus and Nicolas Flammarion and Matthias Hein and Francesco Croce},
journal= {arXiv preprint arXiv:2602.15460},
year = {2026}
}