训练任务特定的图像重建损失
图像与视频处理
2021-10-19 v2 计算机视觉与模式识别
摘要
在训练用于图像复原问题(如单图像超分辨率)的神经网络时,损失函数的选择是一个重要因素。损失函数应鼓励自然且感知上令人愉悦的结果。一种流行的损失选择是使用预训练网络(如 VGG)作为特征提取器来计算复原图像与参考图像之间的差异。然而,这种方法有多个缺点:计算开销大,需要正则化与超参数调优,并且涉及一个在与当前任务无关的数据上训练的大型网络。此外,已观察到不存在单一在所有应用和不同数据集上均最优的损失函数。在本工作中,我们转而提出训练一组本质上特定于应用的损失函数。我们的损失函数由一系列判别器组成,这些判别器被训练来检测并惩罚特定于应用的伪影的存在。我们表明,单张自然图像及其对应失真足以训练我们的特征提取器,该提取器在单图像超分辨率、去噪和 JPEG 伪影去除等应用中优于 SOTA 损失函数。最后,我们得出结论:有效的损失函数不必是感知图像质量的良好预测器,而需要专用于识别给定复原方法的失真。
引用
@article{arxiv.2103.14616,
title = {Training a Task-Specific Image Reconstruction Loss},
author = {Aamir Mustafa and Aliaksei Mikhailiuk and Dan Andrei Iliescu and Varun Babbar and Rafal K. Mantiuk},
journal= {arXiv preprint arXiv:2103.14616},
year = {2021}
}
备注
Accepted at WACV 2022