使用逆强化学习预测目标导向的人类注意力
计算机视觉与模式识别
2020-06-26 v2
摘要
能够预测人类注视行为对行为视觉和计算机视觉应用具有明显的重要性。大多数模型主要侧重于使用显著性图预测自由观看行为，但这些预测不能推广到目标导向行为，例如当一个人搜索视觉目标物体时。我们提出了首个逆强化学习（IRL）模型，用于学习人类在视觉搜索期间使用的内部奖励函数和策略。观看者的内部信念状态被建模为物体位置的动态上下文信念图。这些图通过 IRL 学习，随后用于预测多个目标类别的行为扫描路径。为了训练和评估我们的 IRL 模型，我们创建了 COCO-Search18，这是目前现存最大的高质量搜索注视数据集。COCO-Search18 包含 10 名参与者在 6202 张图像中搜索 18 个目标物体类别，产生了约 300,000 次目标导向注视。在 COCO-Search18 上进行训练和评估时，IRL 模型在预测搜索注视扫描路径方面优于基线模型，无论是在与人类搜索行为的相似性还是搜索效率方面。最后，IRL 模型恢复的奖励图揭示了独特的依赖于目标的物体优先级排序模式，我们将其解释为学习到的物体上下文。
引用
@article{arxiv.2005.14310,
title = {Predicting Goal-directed Human Attention Using Inverse Reinforcement Learning},
author = {Zhibo Yang and Lihan Huang and Yupei Chen and Zijun Wei and Seoyoung Ahn and Gregory Zelinsky and Dimitris Samaras and Minh Hoai},
journal= {arXiv preprint arXiv:2005.14310},
year = {2020}
}
备注
16 pages, 13 figures, CVPR 2020