用于图像重建与合成的焦点频率损失
计算机视觉与模式识别
2021-08-24 v3 机器学习
图像与视频处理
摘要
得益于生成模型的发展，图像重建与合成取得了显著进展。尽管如此，真实图像与生成图像之间仍可能存在差距，尤其在频域中。在本研究中，我们表明缩小频域中的差距可进一步改善图像重建与合成质量。我们提出了一种新颖的焦点频率损失，它通过对易于合成的频率分量降权，使模型自适应地聚焦于难以合成的频率分量。该目标函数是对现有空间损失的补充，针对因神经网络固有偏差导致重要频率信息丢失提供了良好的阻抗。我们展示了焦点频率损失在提升 VAE、pix2pix 和 SPADE 等流行模型的感知质量与定量性能方面的通用性与有效性。我们进一步展示了其在 StyleGAN2 上的潜力。
引用
@article{arxiv.2012.12821,
title = {Focal Frequency Loss for Image Reconstruction and Synthesis},
author = {Liming Jiang and Bo Dai and Wayne Wu and Chen Change Loy},
journal= {arXiv preprint arXiv:2012.12821},
year = {2021}
}
备注
ICCV 2021. GitHub: https://github.com/EndlessSora/focal-frequency-loss Project page: https://www.mmlab-ntu.com/project/ffl/index.html