面向语义对齐风格迁移的流形对齐方法

大多数现有风格迁移方法遵循这样的假设：风格可以用全局统计量(例如Gram矩阵或协方差矩阵)表示，从而通过迫使输出图像与风格图像具有相似的全局统计量来解决问题。另一种假设是局部风格模式，即设计算法来交换内容图像和风格图像的相似局部特征。然而，这些现有方法的局限性在于它们忽略了内容图像的语义结构，可能导致输出中内容结构被破坏。在本文中，我们提出一个新假设：来自同一语义区域的图像特征形成一个流形，而具有多个语义区域的图像遵循多流形分布。基于该假设，风格迁移问题被表述为对齐两个多流形分布，并提出了一种基于流形对齐的风格迁移(MAST)框架。所提框架允许输出图像与风格图像之间语义相似的区域共享相似的风格模式。此外，所提流形对齐方法灵活支持用户编辑或使用语义分割图作为风格迁移的指导。为使该方法适用于逼真风格迁移，我们提出了一种新的自适应权重跳跃连接网络结构以保留内容细节。大量实验验证了所提框架在艺术化和逼真风格迁移中的有效性。代码见 https://github.com/NJUHuoJing/MAST。