面向图像社会关係识别的多粒度推理
计算机视觉与模式识别
2019-01-11 v1
摘要
发现图像中的社会关係可使机器更好地解释人类行为。然而，由于视觉内容域与社会关係域之间的显著鸿沟，自动识别图像中的社会关係是一项具有挑战性的任务。现有研究分别处理面部表情、身体外观和上下文物体等多种特征，因此无法全面捕捉多粒度语义，如场景、人物的区域线索以及人物与物体间的交互。为弥合域鸿沟，我们提出了一种面向图像社会关係识别的多粒度推理框架。全局知识与中层细节分别从整体场景以及人物和物体的区域中学习。最重要的是，我们探索人物的细粒度姿态关键点以发现人物与物体间的交互。具体而言，提出了姿态引导的人物-物体图和人物-姿态图，分别用于建模人物到物体的动作以及成对人物间的交互。基于这些图，通过图卷积网络进行社会关係推理。最后，将全局特征与推理知识整合为用于社会关係识别的综合表示。在两个公开数据集上的大量实验表明了所提框架的有效性。
引用
@article{arxiv.1901.03067,
title = {Multi-Granularity Reasoning for Social Relation Recognition from Images},
author = {Meng Zhang and Xinchen Liu and Wu Liu and Anfu Zhou and Huadong Ma and Tao Mei},
journal= {arXiv preprint arXiv:1901.03067},
year = {2019}
}