用于人机交互理解的一致性感知图网络
计算机视觉与模式识别
2021-03-24 v3
摘要
相较于人体活动分类所取得的进展，人机交互理解（HIU）的成功要少得多。除后者任务更具挑战性外，主要原因在于近期方法通过浅层图模型学习人际交互关系，不足以建模复杂的人机交互。本文提出一种一致性感知图网络，其结合图网络的表征能力与一致性感知推理以促进 HIU 任务。我们的网络由三部分组成：提取图像特征的骨干 CNN、学习参与者间三阶交互关系的因子图网络，以及强制标注与分组一致性的一致性感知推理模块。我们的核心观察是，HIU 的一致性感知推理偏置可嵌入能量函数，最小化该函数可给出一致预测。我们提出一种高效平均场推断算法，使得网络所有模块能以端到端方式联合训练。实验结果表明，我们的方法在三个基准上取得了领先性能。
引用
@article{arxiv.2011.10250,
title = {Consistency-Aware Graph Network for Human Interaction Understanding},
author = {Zhenhua Wang and Jiajun Meng and Dongyan Guo and Jianhua Zhang and Javen Qinfeng Shi and Shengyong Chen},
journal= {arXiv preprint arXiv:2011.10250},
year = {2021}
}