GASP：用于显著性预测的门控注意力

显著性预测指的是对显性注意进行建模的计算任务。社会线索极大地影响我们的注意，从而改变我们的眼动和行为。为强调此类特征的有效性，我们提出了一种用于整合社会线索并权衡其影响的神经模型。我们的模型包括两个阶段。在第一阶段，我们通过跟随注视、估计注视方向和识别情感来检测两种社会线索。然后通过图像处理操作将这些特征转换为时空图。转换后的表示被传播到第二阶段（GASP），在此我们探索用于整合社会线索的后期融合的各种技术，并引入两个子网络以将注意导向相关刺激。我们的实验表明，融合方法在静态整合方法中取得更好的结果，而对于每种模态影响未知的非融合方法，在与循环模型结合用于动态显著性预测时产生更好的结果。我们表明，与不含社会线索的动态显著性模型相比，注视方向和情感表示使预测与真值对应至少提升 5%。此外，情感表示改进了 GASP，支持了在预测显著性时考虑情感偏向注意的必要性。