可记忆性：一种图像可计算的信息效用度量
计算机视觉与模式识别
2021-04-05 v1 人机交互
多媒体
摘要
图像中的像素及其所构成的物体、场景与动作，决定了一幅图像是可被记住还是易被遗忘。尽管可记忆性因图而异，但其很大程度上独立于个体观察者。观察者独立性使得可记忆性成为一种图像可计算的信息度量，并适于自动预测。在本章中，我们以计算视角审视可记忆性，详述了相对于人类行为数据准确预测图像可记忆性的前沿算法，这些算法利用从原始像素到语义标签不同尺度的图像特征。我们讨论了面向人脸、物体与场景可记忆性的算法及可视化设计，以及可泛化至动作与视频而超越静态场景的算法。我们涵盖了作为当前可记忆性预测领域领先者的前沿深度学习方法。除预测外，我们展示了近期 AI 方法如何用于创造与修改视觉可记忆性。最后，我们预览了可记忆性可赋能的计算应用，从过滤视觉流到增强增强现实界面。
引用
@article{arxiv.2104.00805,
title = {Memorability: An image-computable measure of information utility},
author = {Zoya Bylinskii and Lore Goetschalckx and Anelise Newman and Aude Oliva},
journal= {arXiv preprint arXiv:2104.00805},
year = {2021}
}