基于多尺度Transformer的半监督广角人像校正
计算机视觉与模式识别
2022-04-05 v2
摘要
我们提出一种用于广角人像校正的半监督网络。广角图像常受透视畸变引起的倾斜与扭曲影响，在面部区域尤为明显。先前基于深度学习的方法需要真实校正流图作为训练引导。然而此类标签成本高昂，只能人工获取。本工作中，我们设计半监督方案并构建含丰富场景的高质量无标签数据集，得以同时使用有标签与无标签数据提升性能。具体而言，我们的半监督方案利用一致性机制，含方向范围一致性（DRC）与回归一致性（RC）等多个新组件。此外，不同于现有方法，我们提出基于多尺度 swin transformer 块（MSTB）的多尺度 Swin-Unet（MS-Unet），可同时学习短距与长距信息以避免伪影。大量实验表明，所提方法优于最先进方法与其他代表性基线。源代码与数据集见：https://github.com/megvii-research/Portraits_Correction。
引用
@article{arxiv.2109.08024,
title = {Semi-Supervised Wide-Angle Portraits Correction by Multi-Scale Transformer},
author = {Fushun Zhu and Shan Zhao and Peng Wang and Hao Wang and Hua Yan and Shuaicheng Liu},
journal= {arXiv preprint arXiv:2109.08024},
year = {2022}
}
备注
Accepted by CVPR 2022