潜在和谐：通过潜空间正则化和可控细化实现统一的超高清图像修复
计算机视觉与模式识别
2025-10-27 v3
摘要
超高清（UHD）图像修复面临计算效率与高频细节保留之间的权衡。虽然变分自编码器（VAEs）通过潜空间处理提高了效率，但其高斯约束常会丢弃降解特定的高频信息，损害重构保真度。为此，我们提出了 Latent Harmony，一个两阶段框架，通过潜空间正则化和高频感知细化来重新定义 VAEs，以实现 UHD 修复。在第一阶段，我们引入了 LH-VAE，通过视觉语义约束和渐进降解扰动来增强语义鲁棒性，同时通过潜变量等价性来强化高频重构。在第二阶段，我们将此精炼后的 VAE 与修复模型联合训练，采用 High-Frequency Low-Rank Adaptation（HF-LoRA）：一个由面向保真度的高频对齐损失引导的编码器 LoRA，用于恢复真实细节，以及一个由感知导向损失驱动的解码器 LoRA，用于合成真实的纹理。两个 LoRA 模块通过交替优化和选择性梯度传播进行训练，以保持预训练的潜空间结构。在推理阶段，一个可调参数 {\alpha} 使我们能够灵活地在保真度和感知质量之间进行权衡。实验表明，Latent Harmony 在 UHD 和标准分辨率任务上实现了状态-of-the-art 性能，有效平衡了效率、感知质量和重构准确率。
引用
@article{arxiv.2510.07961,
title = {Latent Harmony: Synergistic Unified UHD Image Restoration via Latent Space Regularization and Controllable Refinement},
author = {Yidi Liu and Xueyang Fu and Jie Huang and Jie Xiao and Dong Li and Wenlong Zhang and Lei Bai and Zheng-Jun Zha},
journal= {arXiv preprint arXiv:2510.07961},
year = {2025}
}
备注
Accepted by NeurIPS 2025