用于改进任意风格迁移的风格感知归一化损失
计算机视觉与模式识别
2021-04-21 v1
摘要
神经风格迁移（NST）已迅速从单风格模型演进为无限风格模型，亦称任意风格迁移（AST）。尽管文献中广泛报道了引人注目的结果，但我们对四种知名AST方法（GoogleMagenta、AdaIN、LinearTransfer和SANet）的实证研究表明，超过50%的情况下，AST风格化图像不为人类用户所接受，通常由于风格化不足或过度。我们系统研究了这种不平衡风格可迁移性（IST）的成因，并提出了一种简单而有效的方案来缓解该问题。我们的研究表明，IST问题与常规AST风格损失相关，并揭示其根本原因在于训练样本等权处理而不顾其对应风格图像的特性，这使模型偏向某些风格。通过对AST风格损失理论界的考察，我们提出了一种新损失，在很大程度上克服了IST。理论分析与实验结果验证了该损失的有效性，风格欺骗率相对提升超过80%，人类评价偏好相对提高98%。
引用
@article{arxiv.2104.10064,
title = {Style-Aware Normalized Loss for Improving Arbitrary Style Transfer},
author = {Jiaxin Cheng and Ayush Jaiswal and Yue Wu and Pradeep Natarajan and Prem Natarajan},
journal= {arXiv preprint arXiv:2104.10064},
year = {2021}
}
备注
Accepted as CVPR 2021 Oral Paper