SCHEMA：状态变化对教学视频中的过程规划至关重要

我们研究教学视频中的过程规划问题，其目标是在给定部分视觉状态观测的情况下，生成面向目标的动作步骤序列。该问题的动机是学习结构化的、可规划的状态和动作空间。近期工作成功地对步骤进行了序列建模，但训练时仅使用序列级标注，忽略了状态在过程中的作用。本文指出，状态变化（State CHangEs MAtter, SCHEMA）对教学视频中的过程规划至关重要。我们旨在通过研究过程中步骤与状态之间的因果关系，建立更结构化的状态空间。具体地，我们将每个步骤显式表示为状态变化，并跟踪过程中的状态变化。对于步骤表示，我们利用大语言模型（LLM）中的常识知识，通过设计的思维链提示来描述步骤的状态变化。对于状态变化跟踪，我们通过跨模态对比学习将视觉状态观测与语言状态描述对齐，并使用LLM生成的状态描述显式建模过程的中间状态。在CrossTask、COIN和NIV基准数据集上的实验表明，我们提出的SCHEMA模型达到了最先进的性能，并获得了可解释的可视化结果。