什么吸引了目光？可视化与理解深度显著性模型
计算机视觉与模式识别
2018-03-23 v3
摘要
深度卷积神经网络近年来在注视点预测上展现出高性能。然而，它们如何达成这一点较少被探究，且仍是黑盒模型。在此，我们试图阐明深度显著性模型的内部结构，并研究其为注视点预测提取了何种特征。具体地，我们使用一种简单却强大的架构，仅由一个 CNN 和单分辨率输入组成，并结合一种新的损失函数，用于自然场景自由观看下的像素级注视点预测。我们展示了我们的简单方法与最先进的复杂显著性模型相当或更优。此外，我们提出了一种与显著性模型评估指标相关的方法，以可视化用于注视点预测的深度学习模型。我们的方法揭示了用于注视点预测的深度模型的内部表征，并提供证据表明，人类所体验的显著性除低级感知线索外，还可能涉及高级语义知识。我们的结果有助于衡量当前显著性模型与人类观察者间模型之间的差距，并构建新模型以缩小该差距。
引用
@article{arxiv.1803.05753,
title = {What Catches the Eye? Visualizing and Understanding Deep Saliency Models},
author = {Sen He and Ali Borji and Yang Mi and Nicolas Pugeault},
journal= {arXiv preprint arXiv:1803.05753},
year = {2018}
}