基于时空图推理理解社交视频中的人类注视交流
计算机视觉与模式识别
2019-09-06 v1
摘要
本文解决了从原子级和事件级理解社交视频中人类注视交流的新问题，这对于研究人类社交互动具有重要意义。为应对这一新颖且具挑战性的问题，我们贡献了一个大规模视频数据集VACATION，其涵盖多样的日常社交场景和注视交流行为，并带有物体与人脸、人类注意力以及原子级和事件级交流结构与标签的完整标注。结合VACATION，我们提出了一种时空图神经网络，以显式表示社交场景中的多样注视交互，并通过消息传递推断原子级注视交流。我们进一步提出了具有编码器-解码器结构的事件网络来预测事件级注视交流。我们的实验表明，所提模型在预测原子级和事件级注视方面显著优于多种基线。
引用
@article{arxiv.1909.02144,
title = {Understanding Human Gaze Communication by Spatio-Temporal Graph Reasoning},
author = {Lifeng Fan and Wenguan Wang and Siyuan Huang and Xinyu Tang and Song-Chun Zhu},
journal= {arXiv preprint arXiv:1909.02144},
year = {2019}
}
备注
Accepted by ICCV 2019