ArtiFade：从受损图像中生成高质量主体
计算机视觉与模式识别
2024-09-06 v1
摘要
主体驱动的文本到图像生成在仅凭有限数量的图像即可学习和捕获主体特征方面取得了显著进展。然而，现有方法通常依赖高质量图像进行训练，在输入图像因信噪等因素受损时可能难以生成合理图像。这主要归因于当前技术在区分主体相关特征与干扰性噪声方面的能力不足。本文介绍了 ArtiFade 以解决此问题，并成功从受损数据集生成高质量无噪声图像。具体而言，ArtiFade 通过对预训练文本到图像模型进行微调来实现去噪。去噪过程利用包含无损图像及其对应受损版本的专用数据集完成。ArtiFade 还确保保留扩散模型固有的生成能力，从而提升主体驱动方法在生成高质量无噪声图像方面的整体性能。我们进一步设计了针对此任务的评估基准。通过大量定性和定量实验，我们展示了 ArtiFade 在分布内和分布外场景下有效去噪的通用性。
引用
@article{arxiv.2409.03745,
title = {ArtiFade: Learning to Generate High-quality Subject from Blemished Images},
author = {Shuya Yang and Shaozhe Hao and Yukang Cao and Kwan-Yee K. Wong},
journal= {arXiv preprint arXiv:2409.03745},
year = {2024}
}