CycleACR：面向视频动作检测的演员—场景上下文关系循环建模
计算机视觉与模式识别
2023-03-29 v1
摘要
演员与场景上下文之间的关系建模推动了视频动作检测的发展，其中多个演员之间的相关性使其动作识别具有挑战性。现有研究对每个演员与场景的关系进行建模以改进动作识别。然而，场景变化和背景干扰限制了这种关系建模的有效性。在本文中，我们提出选择演员相关的场景上下文，而非直接利用原始视频场景，以改进关系建模。我们提出了一种循环演员—上下文关系网络（CycleACR），其中包含一个对称图，以双向形式对演员与上下文关系进行建模。我们的 CycleACR 由演员到上下文重组（A2C-R）和上下文到演员增强（C2A-E）组成，前者收集演员特征用于上下文特征重组，后者动态利用重组后的上下文特征增强演员特征。与侧重于 C2A-E 的现有设计相比，我们的 CycleACR 引入了 A2C-R 以实现更有效的关系建模。该建模使我们的 CycleACR 在两个流行的动作检测数据集（即 AVA 和 UCF101-24）上取得了最先进的性能。我们还提供了消融研究和可视化，以展示我们的循环演员—上下文关系建模如何改进视频动作检测。代码见 https://github.com/MCG-NJU/CycleACR。
引用
@article{arxiv.2303.16118,
title = {CycleACR: Cycle Modeling of Actor-Context Relations for Video Action Detection},
author = {Lei Chen and Zhan Tong and Yibing Song and Gangshan Wu and Limin Wang},
journal= {arXiv preprint arXiv:2303.16118},
year = {2023}
}
备注
technical report