ActionSwitch：面向流式视频的类无感检测同步动作
计算机视觉与模式识别
2024-07-19 v1
摘要
在未剪辑的流式视频中实时识别动作实例的在线时序动作局部化 (On-TAL) 是关键任务，这标志着从基于帧的在线动作检测 (OAD) 的重大飞跃——一旦动作结束即进行识别。然而，检测重叠动作的挑战常被忽视，尽管这在流式视频中很常见。当前能够处理并发动作的方法高度依赖类别信息，限制了其灵活性。本文引入 ActionSwitch，首个能够检测重叠动作的类无感 On-TAL 框架。通过消除对类别信息的依赖，ActionSwitch 适用于各种情境，包括相同类别的重叠动作或类别信息不可用的场景。该方法辅以提出的“保守性损失”直接将保守决策原则嵌入 On-TAL 损失函数。我们的 ActionSwitch 在复杂数据集上实现了业界最佳性能，包括面向挑战性第三人称视角的 Epic-Kitchens 100 以及由细粒度动作构成的 FineAction。
引用
@article{arxiv.2407.12987,
title = {ActionSwitch: Class-agnostic Detection of Simultaneous Actions in Streaming Videos},
author = {Hyolim Kang and Jeongseok Hyun and Joungbin An and Youngjae Yu and Seon Joo Kim},
journal= {arXiv preprint arXiv:2407.12987},
year = {2024}
}
备注
ECCV2024