使用自编码器建模视觉记忆性评估揭示可记忆图像的特征
计算机视觉与模式识别
2025-04-03 v2
摘要
图像记忆性指的是某些图像比其他图像更可能被记住的现象。它是一个可量化的、固有的图像属性，定义为单次曝光后被记住的图像的可能性。尽管在理解人类视觉感知和记忆方面取得了进展，但尚不清楚哪些特征有助于图像的记忆性。为了解决这个问题，我们提出了一种基于深度学习的计算建模方法。我们采用基于VGG16卷积神经网络的自编码器方法来学习图像的潜在表示。该模型在单轮训练设置中进行训练，模拟了评估单次暴露后回忆的人类记忆实验。我们检查了自编码器重建误差与记忆性之间的关系，分析了潜在空间表示的独特性，并开发了一个用于记忆性预测的多层感知器模型。此外，我们使用积分梯度进行可解释性分析，以识别有助于记忆性的关键视觉特征。我们的结果表明，图像的记忆性得分与自编码器的重建误差之间存在显著相关性，其潜在表示也具有稳健的预测性能。这些表示的独特性与记忆性显著相关。此外，在我们的模型中，某些视觉特征被确定为有助于图像记忆性的特征。这些发现表明，基于自编码器的表示捕捉了图像记忆性的基本方面，为人类视觉记忆的计算建模提供了新的见解。
引用
@article{arxiv.2410.15235,
title = {Modeling Visual Memorability Assessment with Autoencoders Reveals Characteristics of Memorable Images},
author = {Elham Bagheri and Yalda Mohsenzadeh},
journal= {arXiv preprint arXiv:2410.15235},
year = {2025}
}