中文

FreeEnhance:基于内容一致性加噪-去噪过程的无需调参图像增强

计算机视觉与模式识别 2024-09-12 v1 多媒体

摘要

文本到图像生成模型的出现导致人们认识到,将图像增强作为后处理进行可显著提高生成图像的视觉质量。探索扩散模型进行图像增强却并非易事,需要精细地丰富细节,同时保留原始图像中关键内容的视觉外观。本文提出了一种新框架,称为FreeEnhance,用于基于内容一致性的图像增强。技术上,FreeEnhance是一个两个阶段的过程,首先向输入图像添加随机噪声,然后利用预训练的图像扩散模型(即潜在扩散模型)进行去噪和增强图像细节。在加噪阶段,FreeEnhance被设计为对高频区域添加较轻的噪声,以保留原始图像中的高频模式(如边缘、角落)。在去噪阶段,我们提出了三个目标属性作为约束来正则化预测噪声,从而实现高对比度和高视觉质量的图像增强。在HPDv2数据集上进行了大量实验,表明FreeEnhance在定量指标和人类偏好方面均优于当前最先进的图像增强模型。更令人惊讶的是,FreeEnhance在人类偏好方面也优于Magnific AI的商业图像增强解决方案。

关键词

引用

@article{arxiv.2409.07451,
  title  = {FreeEnhance: Tuning-Free Image Enhancement via Content-Consistent Noising-and-Denoising Process},
  author = {Yang Luo and Yiheng Zhang and Zhaofan Qiu and Ting Yao and Zhineng Chen and Yu-Gang Jiang and Tao Mei},
  journal= {arXiv preprint arXiv:2409.07451},
  year   = {2024}
}

备注

ACM Multimedia 2024