注视检测：从无约束图像中识别个体–相机眼神接触
计算机视觉与模式识别
2021-03-30 v1 人机交互
摘要
注视检测旨在识别相机所捕获个体的注意力焦点是否在相机上。基于行为研究，个体在面向相机交流时的焦点会导致一种特殊类型的眼神接触，即个体–相机眼神接触，它是社会交流中的强力信号，并在识别异常个体状态（如说谎或患精神疾病）与特殊目的（如寻求帮助或吸引粉丝）中起着关键作用。因此，开发有效的注视检测算法对辅助刑事调查、疾病发现与社会行为分析具有重要意义。然而，文献回顾表明，由于缺少大规模公开可用数据集以及该任务的挑战性，极少有面向注视检测器开发的努力。为此，本文通过解决上述两个问题投身于注视检测研究。首先，我们构建了一个大规模注视检测数据集，命名为 OnFocus Detection In the Wild（OFDIW）。其包含 20,623 张无约束采集条件（故称“in the wild”）下的图像，并包含具有多样情绪、年龄、面部特征以及与周围物体和背景场景丰富交互的个体。在此基础上，我们提出一种新颖的端到端深度模型，即眼–上下文交互推断网络（ECIIN），用于注视检测，其通过动态胶囊路由探索眼–上下文交互。最后，在提出的 OFDIW 数据集上进行了全面实验，以基准测试现有学习模型并证明所提 ECIIN 的有效性。该项目（含数据集与代码）位于 https://github.com/wintercho/focus。
引用
@article{arxiv.2103.15307,
title = {Onfocus Detection: Identifying Individual-Camera Eye Contact from Unconstrained Images},
author = {Dingwen Zhang and Bo Wang and Gerong Wang and Qiang Zhang and Jiajia Zhang and Jungong Han and Zheng You},
journal= {arXiv preprint arXiv:2103.15307},
year = {2021}
}