MMPlanner：基于思维链对象状态推理的零样本多模态过程规划
机器学习
2025-09-29 v1
摘要
多模态过程规划（MPP）旨在生成结合文本与图像的逐步指令，其核心挑战在于在生成信息丰富规划的同时，保持跨模态的对象状态一致性。现有方法通常利用大语言模型（LLM）来优化文本步骤；然而，视觉对象状态对齐和系统性评估在很大程度上尚未得到充分探索。我们提出了 MMPlanner，一个零样本 MPP 框架，该框架引入了对象状态推理思维链提示，以显式建模对象状态转换并生成准确的多模态规划。为了评估规划质量，我们设计了 LLM-as-a-judge 协议来评估规划准确性和跨模态对齐，并进一步提出了一项视觉步骤重排序任务以衡量时间连贯性。在 RECIPEPLAN 和 WIKIPLAN 上的实验表明，MMPlanner 实现了最先进的性能，将文本规划提高了 +6.8%，跨模态对齐提高了 +11.9%，视觉步骤排序提高了 +26.7%。
引用
@article{arxiv.2509.21662,
title = {MMPlanner: Zero-Shot Multimodal Procedural Planning with Chain-of-Thought Object State Reasoning},
author = {Afrina Tabassum and Bin Guo and Xiyao Ma and Hoda Eldardiry and Ismini Lourentzou},
journal= {arXiv preprint arXiv:2509.21662},
year = {2025}
}
备注
17 pages, 9 figures, 14 tables, Findings of the Association for Computational Linguistics: EMNLP 2025