基于几何对齐的实时数据高效人像风格化

人像风格化旨在赋予人像照片从风格样本中提取的生动艺术效果。尽管拥有庞大的训练数据集和大型网络权重，但由于面部照片与风格化图像之间面部特征分布的差异，现有方法难以保持几何一致性并达到令人满意的风格化效果，这限制了其在稀有风格和移动设备上的应用。为缓解这一问题，我们提出在人像和风格样本之间建立有意义的几何关联，通过对齐相应的面部特征来简化风格化过程。具体而言，我们将可微薄板样条（TPS）模块集成到端到端的生成对抗网络（GAN）框架中，以提高训练效率并提升面部身份的一致性。通过利用人脸固有的结构信息（例如面部关键点），TPS 模块能够在全局和局部尺度上，于像素空间和特征空间中建立两个域之间的几何对齐，从而克服上述挑战。在多种人像风格化任务上的定量和定性比较表明，我们的模型不仅在保真度和风格一致性上优于现有模型，而且在训练数据效率上实现了 2 倍的提升，计算复杂度降低了 100 倍，使得我们的轻量级模型能够在移动设备上以 512*512 的分辨率实现实时推理（30 FPS）。