DCT-Net:用于人像风格化的域校准翻译网络
计算机视觉与模式识别
2022-07-07 v1
摘要
本文介绍了DCT-Net,一种用于少样本人像风格化的新型图像翻译架构。在给定有限风格样本(100)的情况下,该新架构能够产生高质量的风格迁移结果,具备合成高保真内容的先进能力,以及对复杂场景(如遮挡和配饰)处理的强泛化性。此外,它通过一个由部分观测(即风格化头部)训练得到的优雅评估网络,实现了全身图像翻译。基于少样本学习的风格迁移具有挑战性,因为仅由少量训练样本形成的偏置分布容易导致所学模型在目标域上过拟合。本文旨在采用“先校准,后翻译”的核心思想并探索具有局部聚焦翻译的增强全局结构来应对该挑战。具体而言,所提出的DCT-Net由三个模块组成:从源照片借用强大先验来校准目标样本内容分布的内容适配器;使用仿射变换释放空间语义约束的几何扩展模块;以及利用校准分布生成的样本来学习细粒度转换的纹理翻译模块。实验结果证明了所提方法在头部风格化上相对于最先进方法的优越性,以及其在具有自适应形变的全图翻译上的有效性。
引用
@article{arxiv.2207.02426,
title = {DCT-Net: Domain-Calibrated Translation for Portrait Stylization},
author = {Yifang Men and Yuan Yao and Miaomiao Cui and Zhouhui Lian and Xuansong Xie},
journal= {arXiv preprint arXiv:2207.02426},
year = {2022}
}
备注
Accepted by SIGGRAPH 2022 (TOG). Project Page: https://menyifang.github.io/projects/DCTNet/DCTNet.html , Code: https://github.com/menyifang/DCT-Net