HyPER-GAN：用于实时图像到图像翻译的混合补丁基于图像的光照幻觉增强
计算机视觉与模式识别
2026-03-19 v2
摘要
生成模型广泛用于增强计算机视觉算法训练数据的视觉合成数据的光照幻觉。然而，它们常会引入视觉瑕疵，降低这些算法的准确性，并且需要高计算资源，限制了其在实时训练或评估场景中的适用性。本文提出了混合补丁增强现实生成对抗网络 (HyPER-GAN)，这是一种基于 U-Net 结构生成器的轻量级图像到图像翻译方法， designed for real-time inference。该模型使用配对的合成图像和光照幻觉增强图像进行训练，并辅以混合训练策略，将来自真实世界图像的匹配补丁纳入其中，以提高视觉现实感和语义一致性。实验结果表明，HyPER-GAN 在推理延迟、视觉现实感和语义鲁棒性方面均优于最先进的轻量级配对图像到图像翻译方法。此外，还证明了所提出的混合训练策略确实比仅使用配对的合成图像和光照幻觉增强图像进行训练时更能提高视觉质量和语义一致性。代码和预训练模型均可在 https://github.com/stefanos50/HyPER-GAN 下载。
引用
@article{arxiv.2603.10604,
title = {HyPER-GAN: Hybrid Patch-Based Image-to-Image Translation for Real-Time Photorealism Enhancement},
author = {Stefanos Pasios and Nikos Nikolaidis},
journal= {arXiv preprint arXiv:2603.10604},
year = {2026}
}
备注
This paper is under consideration at Pattern Recognition Letters