从教学视频文本中无监督生成任务图

本文探索了生成真实世界活动任务图的问题。与以往的工作不同，我们考虑这样一种设定：提供执行真实世界活动（如制作咖啡）的教学视频文本转录，目标是识别与任务相关的关键步骤以及这些关键步骤之间的依赖关系。我们提出了一种新颖的任务图生成方法，该方法结合了指令调优语言模型的推理能力以及聚类和排序组件，以完全无监督的方式生成准确的任务图。我们表明，与在ProceL和CrossTask数据集上的监督学习方法相比，所提出的方法能生成更准确的任务图。