用于动作检测的身份感知图记忆网络
计算机视觉与模式识别
2021-08-27 v1
摘要
动作检测在高级视频理解和媒体解释中发挥着重要作用。许多现有研究通过对上下文进行建模，捕捉视频中传达的演员、物体和场景之间的关系，来完成这种时空定位。然而，它们通常不加区分地对待所有演员，未考虑个体之间的一致性和差异性，仍有很大的改进空间。在本文中，我们通过图记忆网络（即身份感知图记忆网络，IGMN）显式地突出了演员在长期和短期上下文中的身份信息。具体而言，我们提出了层次图神经网络（HGNN），以全面地进行同一身份内以及不同身份之间的长期关系建模。对于短期上下文，我们开发了双重注意力模块（DAM）来生成身份感知约束，以减少不同身份演员的干扰影响。在具有挑战性的 AVA 数据集上的大量实验证明了我们方法的有效性，并在 AVA v2.1 和 v2.2 上取得了 state-of-the-art 的结果。
引用
@article{arxiv.2108.11559,
title = {Identity-aware Graph Memory Network for Action Detection},
author = {Jingcheng Ni and Jie Qin and Di Huang},
journal= {arXiv preprint arXiv:2108.11559},
year = {2021}
}
备注
Accepted by ACM MM2021