EmoEdit：通过图像编辑唤起情感
计算机视觉与模式识别
2025-06-19 v3
摘要
情感图像编辑（Affective Image Manipulation, AIM）旨在修改用户提供的图像以唤起特定的情感反应。由于该任务具有双重目标——在显著唤起目标情感的同时保留原始图像构图，因此本质上非常复杂。现有的 AIM 方法主要调整颜色和风格，往往无法引发精确而深刻的情感变化。借鉴心理学见解，我们提出了 EmoEdit，通过引入内容修改来增强情感影响，从而扩展了 AIM。具体而言，我们首先构建了 EmoEditSet，这是一个大规模 AIM 数据集，通过情感归因和数据构建包含 40,120 对数据。为了使现有的生成模型具备情感感知能力，我们设计了 Emotion adapter 并使用 EmoEditSet 对其进行训练。我们进一步提出了一种指令损失（instruction loss）来捕捉数据对中的语义变化。我们对方法进行了定性和定量评估，结果表明其性能优于现有的最先进技术。此外，我们展示了 Emotion adapter 对其他基于扩散模型的便携性，能够利用多样化的语义增强其情感知识。
引用
@article{arxiv.2405.12661,
title = {EmoEdit: Evoking Emotions through Image Manipulation},
author = {Jingyuan Yang and Jiawei Feng and Weibin Luo and Dani Lischinski and Daniel Cohen-Or and Hui Huang},
journal= {arXiv preprint arXiv:2405.12661},
year = {2025}
}