从难忘的图像中汲取难忘的经验：计算机视觉中的类内记忆效应
计算机视觉与模式识别
2025-09-29 v5
摘要
我们提出类内记忆概念，即尽管某些图像在同一类别中共享特征，但仍比其他图像更易被人类记住。为探究何种特征使一个物体实例比其他实例更易被记住，我们设计并进行了人类行为实验，参与者需显示一系列图像，并确定当前图像是否与序列中几步前显示的图像相同。为量化记忆效应，我们提出了类内记忆评分（ICMscore）这一新指标，将图像重复呈现之间的时间间隔纳入计算。随后，我们策划了类内记忆数据集（ICMD），包含超过5000张跨十个物体类别的图像，并依据2000名参与者的响应推导出ICMscore。随后，我们通过在ICMD上训练AI模型，用于各种下游任务：记忆效应预测、图像识别、持续学习和记忆效应控制图像编辑。令人惊讶的是，高ICMscore的图像会损害AI在图像识别和持续学习任务中的性能，而低ICMscore的图像则有助于改善这些任务的结果。此外，我们在ICMD图像对上（带或不带屏蔽语义对象的情形）微调最先进的图像扩散模型。扩散模型能够成功操控图像元素以增强或减弱记忆效应。我们的贡献为理解类内记忆效应提供了新方法，通过细致分析最易记和最不易记的图像中的细粒度视觉特征，并为计算机视觉领域的实际应用奠定了基础。我们将公开发布所有代码、数据和模型。
引用
@article{arxiv.2412.20761,
title = {Unforgettable Lessons from Forgettable Images: Intra-Class Memorability Matters in Computer Vision},
author = {Jie Jing and Yongjian Huang and Serena J. -W. Wang and Shuangpeng Han and Lucia Schiatti and Yen-Ling Kuo and Qing Lin and Mengmi Zhang},
journal= {arXiv preprint arXiv:2412.20761},
year = {2025}
}