OmniRefiner：基于强化学习的局部扩散细化
计算机视觉与模式识别
2025-11-26 v1
摘要
参考导引的图像生成已取得快速进展，但当前扩散模型在使用参考图像对生成图像进行细化时仍难以保留细粒度的视觉细节。由于 VAE 基于潜在压缩本质上会丢弃细微的纹理信息，导致面部和属性特定的线索消失。此外，基于现有方法放大局部细节的后编辑方法常常在灯光、纹理或形状方面与原始图像不一致。为此，我们提出了一种 detail-aware 的细化框架，进行两阶段参考驱动的校正，以增强像素级一致性。我们首先通过微调适配单图像扩散编辑器，使其同时输入草稿图像和参考图像，从而在保持结构保真度的同时实现全局一致的细化。随后，我们应用强化学习进一步加强局部编辑能力，显式优化细节准确性和语义一致性。大量实验表明，\ourMthd{} 在参考对齐和细粒度细节保持方面显著提升，产生的编辑既忠实又视觉上连贯，优于开源和商业模型在具有挑战性的参考导引恢复基准测试中。
引用
@article{arxiv.2511.19990,
title = {OmniRefiner: Reinforcement-Guided Local Diffusion Refinement},
author = {Yaoli Liu and Ziheng Ouyang and Shengtao Lou and Yiren Song},
journal= {arXiv preprint arXiv:2511.19990},
year = {2025}
}