从无配对图像超分辨率的 Optimal Transport 视角出发
图像与视频处理
2025-07-09 v3 计算机视觉与模式识别
机器学习
摘要
真实世界图像超分辨率（SR）任务通常没有配对数据集，这限制了监督技术的应用。因此，这些任务通常通过基于生成对抗网络（GANs）的无配对技术来处理，其产生带有若干正则项（如内容或恒等损失）的复杂训练损失。虽然 GANs 通常能提供良好的实际性能，但它们是被启发式使用的，即对其行为的理论理解仍相当有限。我们从理论上研究此类模型中出现的优化问题，并发现两个令人惊讶的观察。第一，学到的 SR 映射总是一个最优传输（OT）映射。第二，我们从理论上证明并经验展示所学映射是有偏的，即它实际上并未将低分辨率图像的分布转换为高分辨率分布。受这些发现的启发，我们研究神经 OT 领域的近期进展以解决偏差问题。我们建立了正则化 GANs 与神经 OT 方法之间引人入胜的联系。我们展示与现有基于 GAN 的替代方案不同，这些算法旨在学习无偏 OT 映射。我们通过一系列合成与真实世界无配对 SR 实验经验展示了我们的发现。我们的源代码公开于 https://github.com/milenagazdieva/OT-Super-Resolution。
引用
@article{arxiv.2202.01116,
title = {An Optimal Transport Perspective on Unpaired Image Super-Resolution},
author = {Milena Gazdieva and Petr Mokrov and Litu Rout and Alexander Korotin and Andrey Kravchenko and Alexander Filippov and Evgeny Burnaev},
journal= {arXiv preprint arXiv:2202.01116},
year = {2025}
}