LAEO-Net++：重新审视视频中人物互视问题
计算机视觉与模式识别
2021-01-07 v1
摘要
捕捉人物的“相互注视”对于理解和解释他们之间的社交互动至关重要。为此，本文解决视频序列中检测人物互视（LAEO）的问题。为此，我们提出 LAEO-Net++，一种用于确定视频中 LAEO 的新深度 CNN。与先前工作不同，LAEO-Net++ 以时空轨迹作为输入并针对整条轨迹进行推理。它由三个分支组成，分别用于每个被追踪人物的头部及其相对位置。此外，我们引入两个新的 LAEO 数据集：UCO-LAEO 与 AVA-LAEO。详尽的实验评估证明了 LAEO-Net++ 成功判定两人是否 LAEO 以及该现象发生的时间窗的能力。我们的模型在现有 TVHID-LAEO 视频数据集上取得 SOTA 结果，显著优于先前方法。最后，我们将 LAEO-Net++ 应用于社交网络，基于两人 LAEO 的频率与持续时间自动推断其社交关系，并展示 LAEO 可作为视频中人类交互引导搜索的有用工具。代码见 https://github.com/AVAuco/laeonetplus。
引用
@article{arxiv.2101.02136,
title = {LAEO-Net++: revisiting people Looking At Each Other in videos},
author = {Manuel J. Marin-Jimenez and Vicky Kalogeiton and Pablo Medina-Suarez and Andrew Zisserman},
journal= {arXiv preprint arXiv:2101.02136},
year = {2021}
}
备注
16 pages, 16 Figures. arXiv admin note: substantial text overlap with arXiv:1906.05261