面向通用事件边界检测的细粒度动态网络

通用事件边界检测（GEBD）旨在定位人类自然感知的事件边界，在理解长篇视频中发挥着关键作用。鉴于通用边界在不同视频外观、物体和动作上的多样性，这一任务仍具有挑战性。现有方法通常采用相同的协议检测各种边界， regardless of their distinctive characteristics and detection difficulties， resulting in suboptimal performance。直观地，更智能且更合理的方式是考虑其特殊属性后自适应地检测边界。基于此，我们提出了一种名为DyBDet的新型通用事件边界动态管道。通过引入多出口网络架构，DyBDet自动学习不同视频片段的子网分配，实现对各种边界的细粒度检测。此外，还提出了一种多阶差检测器，以确保能够有效识别和自适应地处理通用边界。在具有挑战性的Kinetics-GEBD和TAPOS数据集上进行的大量实验表明，采用动态策略显著有益于GEBD任务，相较于当前最先进的方法，在性能和效率上都实现了显著提升。