O-TALC：迈向解决在线动作分割中的过分割问题

在线时序动作分割在许多需要实时跟踪和理解长程人类动作序列的人机交互（HRI）任务中展现出巨大潜力。然而，传统的动作分割方法采用离线的两阶段方法，依赖计算成本高昂的全视频特征进行分割，使其不适用于在线 HRI 应用。为了在流入的视频数据流上实现在线动作分割，我们引入了两种改进骨干动作识别模型训练和推理的方法，使其能够直接部署用于在线帧级分类。首先，我们在训练时引入环绕密集采样，以促进训练与推理片段的匹配，并改善分割边界预测。其次，我们引入了在线时序感知标签清洗（O-TALC）策略，以在在线推理过程中显式减少过分割。由于我们的方法与骨干网络无关，它们可以与能够在极低分割延迟下实时运行的计算高效的时空动作识别模型一起部署。我们表明，我们的方法优于类似的在线动作分割工作，并且在处理具有挑战性的细粒度数据集时，甚至匹敌了许多能够获取完整时间分辨率的离线模型的性能。