从特征分布视角出发：用于神经风格迁移的矩匹配
计算机视觉与模式识别
2021-03-15 v1 机器学习
摘要
风格迁移旨在将给定图像的内容以另一图像的图形/艺术风格渲染。神经风格迁移（NST）的基本概念是将风格解释为卷积神经网络特征空间中的分布，从而可通过匹配其特征分布来实现所需风格。我们指出，当前大多数该概念的实作在理论与实践上存在重要局限，因其仅部分对齐特征分布。我们提出一种新方案，更精确地匹配分布，从而更忠实地再现所需风格，且仍保持计算高效。具体而言，我们采用近期为域适应提出的中心矩差异（CMD）对偶形式，以最小化目标风格与输出图像特征分布间的差异。该度量的对偶解释显式匹配所有高阶中心矩，因此是仅考虑一阶与二阶矩的现有NST方法的自然扩展。我们的实验证实，强理论性质亦转化为视觉上更优的风格迁移，并更好地将风格与语义图像内容解耦。
引用
@article{arxiv.2103.07208,
title = {In the light of feature distributions: moment matching for Neural Style Transfer},
author = {Nikolai Kalischek and Jan Dirk Wegner and Konrad Schindler},
journal= {arXiv preprint arXiv:2103.07208},
year = {2021}
}