协作弱监督视频关联学习用于过程感知的教学视频分析

视频关联学习（VCL）旨在分析视频之间的关系，已在各种通用视频任务中得到广泛研究和应用。然而，将VCL应用于教学视频仍然相当具有挑战性，因为它们具有内在的程序性时间结构。具体来说，程序性知识对于教学视频的准确关联分析至关重要。然而，当前的程序学习方法严重依赖于步骤级标注，这成本高昂且不可扩展。为解决这个问题，我们引入了一个名为协作程序对齐（CPA）的弱监督框架，用于教学视频上的过程感知关联学习。我们的框架包含两个核心模块：协作步骤挖掘和帧到步骤对齐。协作步骤挖掘模块利用帧之间的语义和时间相似性，实现对配对视频的同时且一致的步骤分割。基于识别出的步骤，帧到步骤对齐模块执行跨视频的帧与步骤之间的对齐。对齐结果作为两个视频之间关联距离的度量。我们在两个不同的教学视频任务中实例化我们的框架：序列验证和动作质量评估。大量实验验证了我们的方法为教学视频提供准确且可解释的关联分析的有效性。