面向细粒度人体姿态迁移的细节补充网络
计算机视觉与模式识别
2021-05-10 v2
摘要
人体姿态迁移（HPT）是一个新兴的研究课题，在时尚设计、媒体制作、在线广告和虚拟现实中有巨大潜力。对于这些应用，细粒度外观细节的视觉真实感对制作质量和用户参与度至关重要。然而，现有 HPT 方法常受三个基本问题困扰：细节缺失、内容模糊和风格不一致，严重降低了生成图像的视觉质量与真实感。面向真实世界应用，我们提出了更具挑战性但更实用的 HPT 设定，称为细粒度人体姿态迁移（FHPT），更关注语义保真与细节补充。具体而言，我们通过一个示例性例子分析现有方法的潜在设计缺陷，并将内容合成与特征迁移的思想以互导方式结合，建立 FHPT 核心方法。此后，我们以细节补充网络（DRN）及相应的由粗到细模型训练方案落实该方法。此外，我们建立了一套完整的细粒度评估协议，从语义分析、结构检测和感知质量评估全面应对 FHPT 挑战。在 DeepFashion 基准数据集上的大量实验验证了所提基准相较 SOTA 方法的优势：前 10 检索召回率提升 12%–14%，关节定位精度提高 5%，人脸身份保持近 40% 提升。此外，评估结果对该主题提供了进一步见解，可启发诸多沿此方向的有前景的未来工作。
引用
@article{arxiv.2005.12494,
title = {Towards Fine-grained Human Pose Transfer with Detail Replenishing Network},
author = {Lingbo Yang and Pan Wang and Chang Liu and Zhanning Gao and Peiran Ren and Xinfeng Zhang and Shanshe Wang and Siwei Ma and Xiansheng Hua and Wen Gao},
journal= {arXiv preprint arXiv:2005.12494},
year = {2021}
}
备注
IEEE TIP accepted at 10.1109/TIP.2021.3052364