视频中注视视觉目标的检测
计算机视觉与模式识别
2020-04-01 v2
摘要
我们解决视频中注意力目标检测的问题。我们的目标是识别视频每一帧中每个人正在看的位置，并正确处理注视目标在画面之外的情况。我们的新颖架构对场景与头部特征之间的动态交互进行建模，并推断随时间变化的注意力目标。我们引入了一个新的标注数据集 VideoAttentionTarget，包含复杂且动态的的真实世界注视行为模式。我们的实验表明，我们的模型能有效推断视频中的动态注意力。此外，我们将预测的注意力图应用于两项社会注视行为识别任务，并表明所得分类器显著优于现有方法。我们在三个数据集上取得了最先进的性能：GazeFollow（静态图像）、VideoAttentionTarget（视频）和 VideoCoAtt（视频），并获得了无需可穿戴相机或眼动仪即可自动分类临床相关注视行为的首批结果。
引用
@article{arxiv.2003.02501,
title = {Detecting Attended Visual Targets in Video},
author = {Eunji Chong and Yongxin Wang and Nataniel Ruiz and James M. Rehg},
journal= {arXiv preprint arXiv:2003.02501},
year = {2020}
}
备注
Accepted to CVPR 2020