重新思考并改进图像风格迁移的鲁棒性
计算机视觉与模式识别
2021-04-13 v1 图像与视频处理
摘要
关于神经风格迁移方法的广泛研究表明，预训练 VGG 网络提取的特征之间的相关性具有捕捉图像视觉风格的显著能力。然而令人惊讶的是，这种风格化质量并不鲁棒，当应用于更先进且更轻量的网络（如 ResNet 系列中的那些）的特征时，质量常常显著下降。通过对不同网络架构进行大量实验，我们发现残差连接（代表 VGG 与 ResNet 之间的主要架构差异）产生的特征图熵较小，不适合风格迁移。为了提高 ResNet 架构的鲁棒性，我们提出了一种简单而有效的解决方案，基于对特征激活进行 softmax 变换以增强其熵。实验结果表明，这一小小的技巧可以极大改善风格化结果的质量，即便对于随机权重的网络也是如此。这表明，用于特征提取的架构比风格迁移任务中使用学习到的权重更为重要。
引用
@article{arxiv.2104.05623,
title = {Rethinking and Improving the Robustness of Image Style Transfer},
author = {Pei Wang and Yijun Li and Nuno Vasconcelos},
journal= {arXiv preprint arXiv:2104.05623},
year = {2021}
}
备注
Published in CVPR2021 (Oral)