深入探究以自我为中心的凝视预测

本文深入探究影响以自我为中心（egocentric）凝视的因素。我们并非盲目地为此训练深度模型，而是提出审视日常任务中有助于凝视引导的因素。自下而上显著性（bottom-up saliency）和光流与强空间先验基线进行了对比评估。诸如消失点、操作点和手部区域等任务特定线索作为自上而下信息的代表被分析。我们还通过研究一种简单的循环神经模型来考察这些因素的影响，该模型用于以自我为中心的凝视预测。首先，为所有输入视频帧提取深度特征。然后，采用门控循环单元来随时间整合信息并预测下一次注视。我们还提出了一种将循环模型与若干自上而下和自下而上线索相结合的集成模型。在多个数据集上的大量实验表明：（1）空间偏置在以自我为中心视频中很强；（2）自下而上显著性模型在预测凝视方面表现差，且不及空间偏置；（3）与传统特征相比，深度特征表现更好；（4）与手部区域相反，操作点是凝视预测的强影响线索；（5）将所提循环模型与自下而上线索、消失点尤其是操作点结合，在以自我为中心视频上获得了最佳的凝视预测精度；（6）知识迁移在任务或序列相似的情况下效果最好；（7）任务和活动识别可受益于凝视预测。我们的发现表明：（1）应更多地关注手-物交互；（2）以自我为中心的视觉社区应考虑包含多样化刺激和更多受试者的更大数据集。