显著性估计的个性化

大多数现有显著性模型在生成注意预测时使用低级特征或任务描述。然而，观察者特征与注视模式之间的联系很少被研究。我们提出了一种新颖的显著性预测技术，在建模人类注意时考虑观看者的身份和个人特质。我们不只是为平均观察者计算图像显著性，而是考虑具有不同个人特质和背景的观察者之间观看行为的个体差异。我们提出了一种 GAN 网络的增强变体，当输入图像刺激和关于观察者的特定信息时，能够生成个性化显著性预测。我们的模型包含一个生成器，其基于图像和观察者标签生成灰度显著性热图。该生成器与一个对抗判别器配对，判别器学习区分生成的显著性与真实显著性。判别器同样以观察者标签作为输入，这有助于我们方法的个性化能力。我们通过与基准模型以及其他非个性化预测进行比较来评估我们的个性化显著性模型的性能，并展示了所有被测观察者组中预测准确率的提升。