EmoGen：基于文本到图像扩散模型的情感图像内容生成
计算机视觉与模式识别
2024-01-10 v1
摘要
近年来，图像生成任务取得了显著进展，用户能够创建视觉上令人惊叹的高质量图像。然而，现有的文本到图像扩散模型擅长生成具体概念（如狗），但在处理更抽象的概念（如情感）时面临挑战。已有一些工作尝试通过颜色和风格调整来修改图像情感，但在固定图像内容下有效传达情感方面存在局限。本文引入情感图像内容生成（EICG）这一新任务，旨在给定情感类别的情况下生成语义清晰且情感忠实的图像。具体而言，我们提出一个情感空间并构建一个映射网络，将其与强大的对比语言-图像预训练（CLIP）空间对齐，从而为抽象情感提供具体解释。进一步提出属性损失和情感置信度，以确保生成图像的语义多样性和情感保真度。我们的方法在定量和定性上均优于最先进的文本到图像方法，为此我们设计了三个自定义指标：情感准确度、语义清晰度和语义多样性。除生成外，我们的方法还可辅助情感理解并启发情感艺术设计。
引用
@article{arxiv.2401.04608,
title = {EmoGen: Emotional Image Content Generation with Text-to-Image Diffusion Models},
author = {Jingyuan Yang and Jiawei Feng and Hui Huang},
journal= {arXiv preprint arXiv:2401.04608},
year = {2024}
}