面向 ISP 学习的专家引导不平衡最优传输
计算机视觉与模式识别
2025-12-08 v1
摘要
学习型图像信号处理 (ISP) 流程提供了强大的端到端性能，但严重依赖大规模的原始到 sRGB 配对数据集。这种对昂贵获取配对数据的依赖仍然是一个重大瓶颈。为此，我们引入了一个新型的基于最优传输的无监督训练框架，能够在配对和非配对模式下训练任意 ISP 架构。我们首次成功地将不平衡最优传输 (UOT) 应用于这一复杂的跨域翻译任务。我们的 UOT 基于框架对目标 sRGB 数据中的异常值具有鲁棒性，允许它抑制那些昂贵且难以映射的典型样本。我们框架的关键组件是一种新颖的“专家判别器委员会”，一种混合对抗正则化器。该委员会通过提供针对性梯度来引导最优传输映射，以纠正 ISP 的特定故障模式，包括颜色忠实性、结构失真和频率域真实性。为证明我们方法的优越性，我们使用我们的配对和非配对设置重新训练了现有的前沿 ISP 架构。我们的实验表明，尽管我们的框架在配对模式下超过了原始配对方法在所有指标上的性能，但我们的非配对模式同时实现了与原始配对训练的对手等量的定量和定性性能，甚至在某些情况下超过了后者。代码和预训练模型均可用于：https://github.com/gosha20777/EGUOT-ISP.git。
引用
@article{arxiv.2512.05635,
title = {Experts-Guided Unbalanced Optimal Transport for ISP Learning from Unpaired and/or Paired Data},
author = {Georgy Perevozchikov and Nancy Mehta and Egor Ershov and Radu Timofte},
journal= {arXiv preprint arXiv:2512.05635},
year = {2025}
}