消除基于参考的线稿上色中的梯度冲突
计算机视觉与模式识别
2022-07-21 v3
摘要
基于参考的线稿上色是计算机视觉中一项具有挑战性的任务。颜色、纹理和明暗基于抽象草图渲染,这严重依赖于草图与参考之间精确的长程依赖建模。桥接跨模态信息并建模长程依赖的流行技术采用注意力机制。然而,在基于参考的线稿上色背景下,若干技术会加剧注意力已有的训练困难,例如自监督训练协议和基于 GAN 的损失。为理解训练中的不稳定性,我们检测注意力的梯度流并观察到注意力分支间的梯度冲突。该现象促使我们通过保留主导梯度分支同时移除冲突分支来缓解梯度问题。我们提出一种采用此训练策略的新颖注意力机制,即停止梯度注意力(Stop-Gradient Attention, SGA),以更佳的训练稳定性大幅优于注意力基线。与线稿上色中最先进的模块相比,我们的方法在多个基准上于 Fréchet Inception Distance(FID,高达 27.21%)和结构相似性指数测度(SSIM,高达 25.67%)上展现出显著改进。SGA 的代码见于 https://github.com/kunkun0w0/SGA 。
引用
@article{arxiv.2207.06095,
title = {Eliminating Gradient Conflict in Reference-based Line-Art Colorization},
author = {Zekun Li and Zhengyang Geng and Zhao Kang and Wenyu Chen and Yibo Yang},
journal= {arXiv preprint arXiv:2207.06095},
year = {2022}
}
备注
Accepted by ECCV2022