用于教学视频中关键步骤识别的视频挖掘任务图

程序性活动理解需要根据更宽泛的任务来感知人类动作，其中在长视频中按顺序执行多个关键步骤以达成最终目标状态——例如食谱的步骤或 DIY 修理任务。先前工作大体上将关键步骤识别与该更宽泛的结构孤立对待，否则就僵化地约束关键步骤与预定义顺序脚本对齐。我们提出从操作类视频中自动发现任务图，以概率方式表示人们倾向于如何执行关键步骤，然后利用该图来正则化新视频中的关键步骤识别。在多个真实世界教学视频数据集上，我们展示了其影响：更可靠的零样本关键步骤定位与改进的视频表示学习，超越了当前最优（SOTA）方法。