基于注意力机制的肖像图像神经任意风格迁移

任意风格迁移是利用给定的两幅图像——内容图像与风格图像——合成一幅此前未见过的图像的任务。内容图像构成结果图像的结构、基本几何线条与形状，而风格图像设定结果的色彩与纹理。此语境下的“任意”意指不存在任何单一预先习得的风格。因此，例如仅能在针对新数据量进行训练或重训练后才能迁移新风格的卷积神经网络不被视为解决此类问题，而基于注意力机制、无需重训练即可执行此类变换的网络则被视为解决此类问题。原始图像可以是一张照片，风格图像可以是一位著名艺术家的画作。此情形下结果图像将是原照片所描绘的场景，以该画作的风格呈现。近期的任意风格迁移算法已能在此任务上取得良好结果，然而在处理人物肖像图像时，此类算法的结果或因面部特征过度扭曲而不可接受，或因风格图像特征表现微弱而不具代表性。在本文中，我们探讨一种利用具有注意力机制的深度神经网络组合架构来解决此问题的方法，该架构基于特定图像片段的内容迁移风格：对图像背景部分以风格主导于形，对直接包含人物图像的部分以内容主导于形。