基于潜扩散模型保持身份且照片级真实的图像情感操控
计算机视觉与模式识别
2023-08-08 v1
摘要
在本文中，我们研究了扩散模型在“真实场景”图像上的情感操控能力，相对于图像到图像翻译任务庞大且快速增长的文献而言，这是一个鲜有探索的应用领域。我们提出的方法囊括了若干先前工作，其中最重要的是潜扩散模型 (Latent Diffusion models) 和基于 CLIP 潜变量的文本驱动操控。我们在 AffectNet 上进行了广泛的定性与定量评估，证明了我们的方法在图像质量与真实感方面的优越性，同时在情感翻译方面相对于多种基于 GAN 的同类方法取得了有竞争力的结果。代码已作为公开仓库发布。
引用
@article{arxiv.2308.03183,
title = {Photorealistic and Identity-Preserving Image-Based Emotion Manipulation with Latent Diffusion Models},
author = {Ioannis Pikoulis and Panagiotis P. Filntisis and Petros Maragos},
journal= {arXiv preprint arXiv:2308.03183},
year = {2023}
}
备注
14 pages, 5 tables, 11 figures