使用深度注视池化预测视觉搜索目标的类别与属性
计算机视觉与模式识别
2017-04-04 v3 人机交互
神经元与认知
摘要
从眼动注视（凝视）数据中预测视觉搜索目标是人机交互中一个具有挑战性的问题，有着众多应用。与以往专注于单个实例作为搜索目标的工作不同，我们首次提出了一种基于凝视数据预测搜索目标类别和属性的方法。然而，当前最先进的类别识别模型通常需要大量的训练数据，这对于凝视数据来说是难以满足的。为了解决这一挑战，我们提出了一种新颖的注视池化层，它将注视信息作为注意力机制集成到基于CNN的架构中——同时融合了人类注视行为的空间和时间方面。我们证明，即使在已训练好的CNN上添加注视池化层，我们的方法也是有效的，从而消除了对昂贵的视觉与凝视数据联合采集的需求。我们提出了一个实验设置和数据集，并证明了我们的方法在基于注视行为的搜索目标预测上的有效性。我们进一步研究了如何最有效地整合时间和空间注视信息，并为未来基于凝视的心理状态预测研究指明了方向。
引用
@article{arxiv.1611.10162,
title = {Predicting the Category and Attributes of Visual Search Targets Using Deep Gaze Pooling},
author = {Hosnieh Sattar and Andreas Bulling and Mario Fritz},
journal= {arXiv preprint arXiv:1611.10162},
year = {2017}
}