利用时序因果性实现高级时序动作检测

时序动作检测（TAD）是长视频理解中的基础任务，旨在捕捉未剪辑视频中固有的时序关系，并精确定位候选动作的边界。多年来，各种网络结构，包括卷积、图神经网络和变换器，都被用于有效的时序建模以实现TAD。然而，这些模块通常将过去和未来的信息视为平等，忽视了动作边界变化本质上是因果事件这一关键事实。鼓舞于此观察，我们提出利用动作的时序因果性来增强TAD表示，通过限制模型仅访问过去或未来的上下文。我们引入CausalTAD，结合因果注意力和因果Mamba，实现了在多个基准数据集上的领先性能。值得注意的是，基于CausalTAD，我们在EPIC-Kitchens Challenge 2024的行动识别、行动检测和音频驱动互动检测三个轨道中名列前茅，也在Ego4D Challenge 2024的时段查询轨道中名列前茅。我们的代码已公开于https://github.com/sming256/OpenTAD/。