以行动者为中心的关系网络
计算机视觉与模式识别
2018-07-31 v1
摘要
当前最先进的时空动作定位方法依赖于帧级检测，并用3D卷积网络建模时间上下文。在此，我们更进一步，建模时空关系以捕捉人行动者、相关物体与场景元素之间的交互，这些交互对区分相似人类动作至关重要。我们的方法是弱监督的，并通过以行动者为中心的关系网络（ACRN）自动挖掘相关元素。ACRN从行动者与全局场景特征计算并累积成对关系信息，生成用于动作分类的关系特征。它实现为神经网络，并可与现有动作检测系统联合训练。我们表明ACRN优于其他捕捉关系信息的方法，且所提框架在JHMDB与AVA上超越了最先进性能。对所学关系特征的可视化证实我们的方法能够关注各动作的相关关系。
引用
@article{arxiv.1807.10982,
title = {Actor-Centric Relation Network},
author = {Chen Sun and Abhinav Shrivastava and Carl Vondrick and Kevin Murphy and Rahul Sukthankar and Cordelia Schmid},
journal= {arXiv preprint arXiv:1807.10982},
year = {2018}
}
备注
ECCV 2018 camera ready