户外自然场景可记忆性的理解与预测
计算机视觉与模式识别
2021-11-24 v7
摘要
可记忆性衡量一幅图像在匆匆一瞥后被人记住的难易程度，这可能有助于设计杂志封面、旅游宣传材料等。近期工作已揭示使通用图像、物体图像或人脸照片具有可记忆性的视觉特征。然而，这些方法无法有效预测户外自然场景图像的可记忆性。为克服既往工作的这一不足，本文尝试回答：“究竟是什么使户外自然场景值得记忆”。为此，我们首先建立大规模户外自然场景图像可记忆性（LNSIM）数据库，包含 2,632 幅户外自然场景图像及其真值可记忆性分数与多标签场景类别标注。随后，与既往工作类似，我们挖掘该数据库以探究低、中、高层手工特征如何影响户外自然场景的可记忆性。特别地，我们发现场景类别这一高层特征与户外自然场景可记忆性相当相关，且深度神经网络（DNN）学到的深度特征在预测可记忆性分数上同样有效。此外，将深度特征与类别特征结合可进一步提升可记忆性预测性能。因此，我们提出一种基于端到端 DNN 的户外自然场景可记忆性（DeepNSM）预测器，其利用了所学类别相关特征。实验结果表明我们的 DeepNSM 模型有效，超越了当前最优方法。最后，我们试图理解 DeepNSM 模型表现良好的原因，并研究了该模型成功或未能准确预测户外自然场景可记忆性的案例。代码：github.com/JiaxinLu-home/Natural-Scene-Memorability-Dataset。
引用
@article{arxiv.1810.06679,
title = {Understanding and Predicting the Memorability of Outdoor Natural Scenes},
author = {Jiaxin Lu and Mai Xu and Ren Yang and Zulin Wang},
journal= {arXiv preprint arXiv:1810.06679},
year = {2021}
}
备注
Added links to dataset and code; Modified footnote 6 in experiments. arXiv admin note: text overlap with arXiv:1808.08754