面向物体的自我中心在线动作检测

像Ego4D、EPIC-Kitchens和Ego-Exo4D这样的自我中心视频数据集的进步，丰富了对第一人称人类交互的研究，这对于增强现实和辅助生活等应用至关重要。尽管取得了这些进展，当前高效检测流媒体视频中动作的在线动作检测方法，主要是为外部中心视角设计的，因此未能利用自我中心视频固有的独特视角。为了弥补这一差距，我们引入了一个面向物体的模块，将自我中心特有的先验知识集成到现有的OAD框架中，增强了对第一人称视角画面的解读。利用物体特定的细节和时间动态，我们的模块改进了检测动作时的场景理解。在Epic-Kitchens 100数据集上进行了广泛验证，我们的工作可以以最小的开销无缝集成到现有模型中，并带来一致的性能提升，标志着在使动作检测系统适应自我中心视频分析方面迈出了重要一步。