无目标的人眼注意
计算机视觉与模式识别
2022-11-03 v3 人工智能
摘要
预测人眼注视行为对于构建能够预判用户注意的人机交互系统十分重要。计算机视觉模型已被开发用于预测人们在搜索目标物体时所做出的注视点。但当图像中没有目标时呢？同样重要的是了解人们在无法找到目标时如何搜索，以及他们何时停止搜索。在本文中，我们提出首个数据驱动的计算模型，该模型解决搜索终止问题，并预测人们在搜索未出现在图像中的目标时所做出的搜索注视扫描路径。我们将视觉搜索建模为模仿学习问题，并使用一种我们称为中央凹特征图（FFMs）的新颖状态表示来表征观察者通过注视所获取的内部知识。FFMs 将模拟的中央凹视网膜整合到预训练的 ConvNet 中，该网络产生网络内特征金字塔，且计算开销极小。我们的方法将 FFMs 作为逆强化学习中的状态表示。在实验上，我们在 COCO-Search18 数据集上改进了预测人无目标搜索行为的现有最佳水平。
引用
@article{arxiv.2207.01166,
title = {Target-absent Human Attention},
author = {Zhibo Yang and Sounak Mondal and Seoyoung Ahn and Gregory Zelinsky and Minh Hoai and Dimitris Samaras},
journal= {arXiv preprint arXiv:2207.01166},
year = {2022}
}
备注
Accepted to ECCV2022