LAEO-Net：重新审视视频中人们的相互注视
计算机视觉与模式识别
2019-06-13 v1
摘要
捕捉人们的“相互注视”对于理解和解释他们之间的社交互动至关重要。为此，本文解决了在视频序列中检测人们相互注视（LAEO）的问题。我们提出了LAEO-Net，一种用于判断视频中LAEO的新型深度卷积神经网络。与以往工作不同，LAEO-Net以时空轨迹作为输入，并对整个轨迹进行推理。它由三个分支组成，分别对应每个角色的头部轨迹及其相对位置。此外，我们引入了两个新的LAEO数据集：UCO-LAEO和AVA-LAEO。全面的实验评估证明了LAEO-Net能够成功判断两人是否处于LAEO状态及其发生的时间窗口。我们的模型在现有的TVHID-LAEO视频数据集上取得了最先进的结果，显著优于先前的方法。最后，我们将LAEO-Net应用于社交网络分析，根据两人相互注视的频率和持续时间自动推断他们之间的社交关系。
引用
@article{arxiv.1906.05261,
title = {LAEO-Net: revisiting people Looking At Each Other in videos},
author = {Manuel J. Marin-Jimenez and Vicky Kalogeiton and Pablo Medina-Suarez and Andrew Zisserman},
journal= {arXiv preprint arXiv:1906.05261},
year = {2019}
}
备注
CVPR 2019