视觉编码器中图像记忆性的相关因素:激活、注意力熵、图像块均匀性与自编码器损失
计算机视觉与模式识别
2026-05-05 v2
摘要
图像在人类记忆中的难忘程度各不相同。受认知科学和计算机视觉发现的启发,我们首次探索了预训练的基于Transformer的视觉编码器中图像记忆性的相关因素。我们首先关注激活、注意力分布和图像块的均匀性,发现这些特征在一定程度上与记忆性相关。此外,我们探索了视觉编码器表征上的稀疏自编码器损失作为记忆性的代理指标,其结果优于过去使用卷积神经网络表征的方法。我们的结果揭示了模型内部特征与记忆性之间的关系。它们表明,某些特征可以有效地预测是什么让图像对人类而言难忘;特别是,我们自编码器的重建损失是图像记忆性的一个强相关因素。
引用
@article{arxiv.2509.01453,
title = {Correlates of Image Memorability in Vision Encoders: Activations, Attention Entropy, Patch Uniformity and Autoencoder Losses},
author = {Ece Takmaz and Albert Gatt and Jakub Dotlacil},
journal= {arXiv preprint arXiv:2509.01453},
year = {2026}
}
备注
Accepted to CogSci 2026 - The 48th Annual Meeting of the Cognitive Science Society