基于图割的多模态风格迁移
计算机视觉与模式识别
2020-01-08 v6
摘要
近期神经风格迁移方法中广泛使用的一个假设是：图像风格可由 Gram 矩阵或协方差矩阵等深度特征的全局统计量来描述。另一些方法则将风格分解为局部像素或神经块来表示。尽管取得了近期进展，大多数现有方法对风格图像的语义模式进行统一处理，导致在复杂风格上产生不令人满意的结果。本文提出一种更灵活且通用的通用风格迁移技术：多模态风格迁移（MST）。MST 显式地考虑内容图像与风格图像中语义模式的匹配。具体而言，风格图像特征被聚类为子风格分量，这些分量在图割形式化下与局部内容特征进行匹配。我们训练了一个重建网络来迁移每个子风格并渲染最终的风格化结果。我们还将 MST 推广以改进一些现有方法。大量实验证明了 MST 的优越性、鲁棒性与灵活性。
引用
@article{arxiv.1904.04443,
title = {Multimodal Style Transfer via Graph Cuts},
author = {Yulun Zhang and Chen Fang and Yilin Wang and Zhaowen Wang and Zhe Lin and Yun Fu and Jimei Yang},
journal= {arXiv preprint arXiv:1904.04443},
year = {2020}
}
备注
Accepted to ICCV 2019. Typos in Eqs. (11) and (12) have been fixed in arXiv V2 and this version (V6). Code: https://github.com/yulunzhang/MST