如何拍摄令人难忘的照片？为用户提供可操作的反馈

图像记忆性，即一张图像被记住的可能性，传统上在计算机视觉中要么被作为一个被动预测任务来研究，模型回归一个标量分数，要么通过生成方法改变视觉输入以提高图像被记住的可能性。然而，这些范式都不能在拍摄时为用户提供支持，而拍摄时的关键问题是如何提高照片的记忆性。我们引入了记忆性反馈任务，其中自动化模型应提供可操作的、人类可解释的指导，以增强图像未来的回忆。我们还提出了MemCoach，这是第一种旨在为改善记忆性提供具体自然语言建议的方法。我们的方法基于多模态大语言模型，无需训练，并采用教师-学生引导策略，将模型的内部激活向从教师模型沿着从最不令人难忘到最令人难忘的样本学习到的更令人难忘的模式对齐。为了能够对这一新任务进行系统评估，我们进一步引入了MemBench，这是一个新的基准测试，包含序列对齐的照片拍摄和标注的记忆性分数。我们的实验考虑了多种多模态大语言模型，证明了MemCoach的有效性，显示出在多个零样本模型上持续改进的性能。结果表明，记忆性不仅可以被预测，还可以被教授和指导，将焦点从单纯的预测转向为人类创作者提供可操作的反馈。