用于图像修复的辅助损失重加权方法
计算机视觉与模式识别
2022-04-25 v4
摘要
图像修复是一项旨在用合理内容填充受损图像缺失区域的任务。最近的修复方法引入了感知损失和风格损失作为辅助损失来指导修复生成器的学习。感知损失和风格损失通过监督生成区域的深层特征，帮助提升修复结果的感知质量。然而，辅助损失的使用带来了两个挑战：（i）需要耗时的网格搜索来决定感知损失和风格损失的权重以恰当执行，以及（ii）具有不同辅助能力的损失项被感知和风格损失等权对待。为应对这两个挑战，我们提出了一种新颖框架，在单一训练过程中独立地对辅助损失项加权并自适应调整其权重，而无需耗时的网格搜索。具体而言，为释放感知和风格损失的辅助潜力，我们提出两种辅助损失：可调感知损失（TPL）和可调风格损失（TSL），通过使用不同的可调权重来考虑不同损失项的贡献。TPL和TSL是感知和风格损失的超集，并释放了标准感知和风格损失的辅助潜力。我们进一步提出辅助权重自适应（AWA）算法，在单一训练过程中高效重加权TPL和TSL。AWA基于如下原则：最佳辅助权重将带来修复性能的最大提升。我们在公开可用数据集上实验，发现我们的框架帮助当前SOTA方法取得更好结果。
引用
@article{arxiv.2111.07279,
title = {Auxiliary Loss Reweighting for Image Inpainting},
author = {Siqi Hui and Sanping Zhou and Ye Deng and Wenli Huang and Jinjun Wang},
journal= {arXiv preprint arXiv:2111.07279},
year = {2022}
}