用于图像变换的对齐鲁棒频率分布损失
计算机视觉与模式识别
2024-02-29 v1 图像与视频处理
摘要
本文旨在解决基于深度学习的图像变换方法（如图像增强和超分辨率）中面临的一个共同挑战，这些方法严重依赖具有像素级对齐的精确对齐配对数据集。然而，创建精确对齐的配对图像存在重大挑战，阻碍了基于此类数据训练的方法的发展。为了克服这一挑战，本文引入了一种新颖且简单的频率分布损失（FDL），用于计算频域内的分布距离。具体而言，我们使用离散傅里叶变换（DFT）将图像特征转换到频域。随后，分别处理频率分量（幅度和相位）以形成 FDL 损失函数。由于深思熟虑地利用了频域中的全局信息，我们的方法在经验上被证明是一种有效的训练约束。广泛的实验评估（专注于图像增强和超分辨率任务）表明，FDL 优于现有的对齐鲁棒损失函数。此外，我们探索了 FDL 在仅依赖完全未对齐数据的图像风格迁移中的潜力。我们的代码可在以下地址获取：https://github.com/eezkni/FDL
引用
@article{arxiv.2402.18192,
title = {Misalignment-Robust Frequency Distribution Loss for Image Transformation},
author = {Zhangkai Ni and Juncheng Wu and Zian Wang and Wenhan Yang and Hanli Wang and Lin Ma},
journal= {arXiv preprint arXiv:2402.18192},
year = {2024}
}
备注
Accepted to Computer Vision and Pattern Recognition Conference (CVPR) 2024