后验均值整流流:迈向最小均方误差的照片级真实感图像复原
图像与视频处理
2025-02-05 v3 人工智能
计算机视觉与模式识别
信号处理
摘要
照片级真实感图像复原算法通常通过失真度量(例如PSNR、SSIM)和感知质量度量(例如FID、NIQE)来评估,其目标是在不牺牲感知质量的前提下达到尽可能低的失真。为实现此目标,当前方法通常尝试从后验分布中采样,或优化失真损失(例如MSE)和感知质量损失(例如GAN)的加权和。与先前工作不同,本文特别关注在完美感知指数约束下最小化MSE的最优估计器,即重建图像的分布等于真实图像分布的情况。最近的一个理论结果表明,这种估计器可以通过将后验均值预测(MMSE估计)最优传输到真实图像分布来构建。受此结果启发,我们引入了后验均值整流流(PMRF),这是一种简单但高效的算法,用于近似该最优估计器。具体而言,PMRF首先预测后验均值,然后使用一个近似所需最优传输映射的整流流模型将结果传输到高质量图像。我们研究了PMRF的理论效用,并证明它在多种图像复原任务上持续优于先前方法。
引用
@article{arxiv.2410.00418,
title = {Posterior-Mean Rectified Flow: Towards Minimum MSE Photo-Realistic Image Restoration},
author = {Guy Ohayon and Tomer Michaeli and Michael Elad},
journal= {arXiv preprint arXiv:2410.00418},
year = {2025}
}
备注
Accepted to ICLR 2025. Code and demo are available at https://pmrf-ml.github.io/