通过特征反量化提升Pluralistic图像填充中的细节质量
计算机视觉与模式识别
2024-12-03 v1
摘要
Pluralistic 图像填充（PII）为恢复图像缺失部分提供多个合理解答，已成功应用于图像编辑和对象消除等多个领域。最近提出的基于 VQGAN 的方法表明，可显著提高生成图像的结构完整性。然而，领先的 VQGAN-based 模型 PUT 面临一个关键挑战：由于特征量化导致输出图像细节质量下降。特征量化限制了潜空间，造成信息损失，这严重影响了图像填充中至关重要的细节质量。为解决此问题，我们提出了 FDM（Feature Dequantization Module），专为恢复图像细节质量而设计，以补偿信息损失。此外，我们开发了一种高效的 FDM 训练方法，显著降低了训练成本。我们通过实证研究表明，该方法在几乎没有训练和推理开销的情况下，显著提升了生成图像的细节质量。
引用
@article{arxiv.2412.01046,
title = {Improving Detail in Pluralistic Image Inpainting with Feature Dequantization},
author = {Kyungri Park and Woohwan Jung},
journal= {arXiv preprint arXiv:2412.01046},
year = {2024}
}