面向人体重塑的结构感知流生成
计算机视觉与模式识别
2022-03-14 v2
摘要
身体重塑是人像照片修图中的重要步骤。由于人体结构复杂且外观多样，现有方法要么借助身体可变形模型退回到 3D 域，要么诉诸基于关键点的图像变形，导致效率低下且视觉质量不尽如人意。在本文中，我们在身体结构先验（包括骨架和 Part Affinity Fields）的指导下，通过构建一个端到端的流生成架构来解决这些局限，并在任意姿态和服饰下实现了前所未有的可控性能。我们引入了组合注意力机制，以捕捉人体的视觉感知相关性和结构关联，从而加强相关部位之间操作的一致性。为了全面评估，我们构建了首个大规模身体重塑数据集，即 BR-5K，包含 5,000 张人像照片以及专业修整后的目标图像。大量实验表明，我们的方法在视觉表现、可控性和效率方面显著优于现有的最先进方法。数据集可在我们的网站获取：https://github.com/JianqiangRen/FlowBasedBodyReshaping。
引用
@article{arxiv.2203.04670,
title = {Structure-Aware Flow Generation for Human Body Reshaping},
author = {Jianqiang Ren and Yuan Yao and Biwen Lei and Miaomiao Cui and Xuansong Xie},
journal= {arXiv preprint arXiv:2203.04670},
year = {2022}
}