FreeEnhance:基于内容一致性加噪-去噪过程的无需调参图像增强
计算机视觉与模式识别
2024-09-12 v1 多媒体
摘要
文本到图像生成模型的出现导致人们认识到,将图像增强作为后处理进行可显著提高生成图像的视觉质量。探索扩散模型进行图像增强却并非易事,需要精细地丰富细节,同时保留原始图像中关键内容的视觉外观。本文提出了一种新框架,称为FreeEnhance,用于基于内容一致性的图像增强。技术上,FreeEnhance是一个两个阶段的过程,首先向输入图像添加随机噪声,然后利用预训练的图像扩散模型(即潜在扩散模型)进行去噪和增强图像细节。在加噪阶段,FreeEnhance被设计为对高频区域添加较轻的噪声,以保留原始图像中的高频模式(如边缘、角落)。在去噪阶段,我们提出了三个目标属性作为约束来正则化预测噪声,从而实现高对比度和高视觉质量的图像增强。在HPDv2数据集上进行了大量实验,表明FreeEnhance在定量指标和人类偏好方面均优于当前最先进的图像增强模型。更令人惊讶的是,FreeEnhance在人类偏好方面也优于Magnific AI的商业图像增强解决方案。
引用
@article{arxiv.2409.07451,
title = {FreeEnhance: Tuning-Free Image Enhancement via Content-Consistent Noising-and-Denoising Process},
author = {Yang Luo and Yiheng Zhang and Zhaofan Qiu and Ting Yao and Zhineng Chen and Yu-Gang Jiang and Tao Mei},
journal= {arXiv preprint arXiv:2409.07451},
year = {2024}
}
备注
ACM Multimedia 2024