MPCC：面向多模态大语言模型的具有复杂约束的多模态规划基准
计算与语言
2025-08-01 v1 人工智能
计算机视觉与模式识别
摘要
多模态规划能力指的是能够预测、推理和设计针对带有多模态上下文的任务执行步骤的能力，这是复杂推理和决策在多个步骤中至关重要的能力。然而，当前的基准存在两个关键挑战：(1)它们无法直接评估多模态真实世界规划能力；(2)它们缺乏跨模态的约束或隐式约束。为此，我们引入了具有复杂约束的多模态规划 (MPCC)，这是第一个系统性评估大语言模型处理多模态约束规划能力的基准。为解决第一个挑战，MPCC 聚焦于三个真实世界任务：航班规划、日历规划和会议规划。为解决第二个挑战，我们在这些任务中引入复杂约束（如预算、时间和空间约束），并提供分级难度级别 (EASY、MEDIUM、HARD)，以将约束复杂度与搜索空间扩大区分开来。在 13 个先进大语言模型上的实验揭示了显著的挑战：封闭源模型仅实现 21.3% 可行计划，而开源模型平均低于 11%。此外，我们观察到大语言模型对约束复杂度高度敏感，传统的多模态提示策略在多约束情景下会失败。我们的工作对规划中的多模态约束进行形式化，提供了严格的评估框架，并凸显了在真实世界大语言模型应用中发展约束感知推理能力的必要性。
引用
@article{arxiv.2507.23382,
title = {MPCC: A Novel Benchmark for Multimodal Planning with Complex Constraints in Multimodal Large Language Models},
author = {Yiyan Ji and Haoran Chen and Qiguang Chen and Chengyue Wu and Libo Qin and Wanxiang Che},
journal= {arXiv preprint arXiv:2507.23382},
year = {2025}
}
备注
Accepted to ACM Multimedia 2025