HoliSDiP：基于整体语义和扩散先验的数字图像超分辨率
计算机视觉与模式识别
2024-12-02 v1
摘要
文本到图像扩散模型已成为现实世界图像超分辨率（Real-ISR）的强大先验。然而，现有方法可能因噪声文本提示及其缺乏空间信息而产生意外结果。本文提出了HoliSDiP，一个利用语义分割提供精确文本和空间指导的框架，用于基于扩散的Real-ISR。我们的方法将语义标签作为简洁文本提示，同时通过分割掩码和我们提出的分段-CLIP映射引入稠密语义指导。广泛的实验表明，HoliSDiP通过减少提示噪声和增强空间控制，在各种Real-ISR场景中显著提升了图像质量。
引用
@article{arxiv.2411.18662,
title = {HoliSDiP: Image Super-Resolution via Holistic Semantics and Diffusion Prior},
author = {Li-Yuan Tsao and Hao-Wei Chen and Hao-Wei Chung and Deqing Sun and Chun-Yi Lee and Kelvin C. K. Chan and Ming-Hsuan Yang},
journal= {arXiv preprint arXiv:2411.18662},
year = {2024}
}
备注
Project page: https://liyuantsao.github.io/HoliSDiP/