PREGO：程序化第一人称视角视频的在线错误检测

在在线环境中从第一人称视角视频中及时识别程序化错误极具挑战性，且对于在错误发生时立即检测到它们非常有价值。这种能力在制造和医疗保健等各个领域有着广泛的应用。程序化错误的本质属于开集，因为可能会出现新型失败，这需要在正确执行的程序上训练的单类分类器。然而，目前没有技术能够在线检测开集程序化错误。我们提出了 PREGO，这是第一个用于程序化第一人称视角视频错误检测的在线单类分类模型。PREGO 基于在线动作识别组件来建模当前动作，并利用符号推理模块预测下一个动作。错误检测是通过将识别出的当前动作与预期的未来动作进行比较来执行的。我们在两个程序化第一人称视角视频数据集 Assembly101 和 Epic-tent 上评估了 PREGO，我们将它们适配用于程序化错误检测的在线基准测试以建立合适的基准，从而分别定义了 Assembly101-O 和 Epic-tent-O 数据集。