每个像素都有其时刻:基于稠密归一化的超高分辨率无配对图像到图像翻译
计算机视觉与模式识别
2024-07-08 v1
摘要
近期在超高分辨率无配对图像到图像翻译方面的进展,旨在通过基于块的推理来缓解受限 GPU 内存的制约。然而,现有方法常常在减少明显的瓷砖痕迹和保持颜色与色调对比度之间进行权衡,这归因于实例归一化层依赖全局图像或块级统计信息。在本研究中,我们引入一种稠密归一化(Dense Normalization, DN)层,用于估计像素级统计时刻。该方法有效减少了瓷砖痕迹,同时保持了局部颜色和色调对比度。为解决像素级估计的计算需求,我们进一步提出了一种高效的插值算法。此外,我们发明了一种并行策略,使 DN 层能够单次完成。通过大量实验,我们展示了该方法在性能上优于所有现有方法。值得注意的是,我们的 DN 层无需调参,可无缝集成到大多数无配对图像到图像翻译框架中,而无需重新训练。总体而言,我们的工作为在无配对图像到图像翻译领域处理任意分辨率图像的未来探索铺平了道路。代码已公开:https://github.com/Kaminyou/Dense-Normalization。
引用
@article{arxiv.2407.04245,
title = {Every Pixel Has its Moments: Ultra-High-Resolution Unpaired Image-to-Image Translation via Dense Normalization},
author = {Ming-Yang Ho and Che-Ming Wu and Min-Sheng Wu and Yufeng Jane Tseng},
journal= {arXiv preprint arXiv:2407.04245},
year = {2024}
}
备注
Accepted to ECCV 2024