通过多模态感知引导的双条件扩散模型提升图像审美
计算机视觉与模式识别
2026-03-13 v1
摘要
图像审美增强旨在感知图像中的审美缺陷并执行相应的编辑操作，这具有高度挑战性，要求模型具备创造力和审美感知能力。尽管近期图像编辑模型在可控性和灵活性方面取得显著进步，但在提升图像审美方面仍面临两大挑战：其一，遵循带有审美感知的编辑指令困难；其二，缺乏语义一致但审美质量差异显著的“完美配对”图像。为此，本文提出双监督图像审美增强 (DIAE) 模型，一种具备多模态审美感知能力的扩散生成模型。首先，DIAE 融入多模态审美感知 (MAP) 将模糊的审美指令转化为明确的引导信号：(i) 采用跨越多个审美属性的详细标准化审美指令；(ii) 利用来自保持同一审美属性一致性的文本-图像对派生的多模态控制信号。其次，为缓解“完美配对”图像的稀缺，收集了称为 IIAEData 的“不完美配对”数据集，包含审美质量各异但语义相同的图像。为更好地利用 IIAEData 在训练中的弱匹配特性，还引入双分支监督框架进行弱监督图像审美增强。实验结果表明，DIAE 在基线模型之上取得优异表现，获得更高的图像审美分数和图像内容一致性分数。
引用
@article{arxiv.2603.11556,
title = {Enhancing Image Aesthetics with Dual-Conditioned Diffusion Models Guided by Multimodal Perception},
author = {Xinyu Nan and Ning Wang and Yuyao Zhai and Mei Yang},
journal= {arXiv preprint arXiv:2603.11556},
year = {2026}
}