SHARE: 单视图人体对抗重建
计算机视觉与模式识别
2024-01-02 v1
摘要
从图像进行3D人体姿态和形状重建（HPS）的精度逐步提高。然而，没有已知方法对所有图像失真都鲁棒。为了解决相机姿态变化引起的问题，我们引入SHARE，一种利用对抗数据增强来增强现有HPS技术鲁棒性的新型微调方法。我们对相机姿态对HPS重建结果的影响进行了全面分析。我们首先从不同相机视角系统生成大规模图像数据集。然后建立相机姿态与重建误差之间的映射，作为连续函数表征相机姿态与HPS质量的关系。利用这种表示，我们引入RoME（最大误差区域），一种用于对抗微调方法的新型采样技术。SHARE框架可推广到各种单视图HPS方法，我们在HMR、SPIN、PARE、CLIFF和ExPose上展示了其性能。结果表明，对于从多个相机位置捕获的图像，单视图HPS技术的平均关节误差降低，且不损害其基线性能。在许多具有挑战性的情况下，我们的方法超越了现有模型的性能，突显了其在多样化实际应用中的实际意义。
引用
@article{arxiv.2401.00343,
title = {SHARE: Single-view Human Adversarial REconstruction},
author = {Shreelekha Revankar and Shijia Liao and Yu Shen and Junbang Liang and Huaishu Peng and Ming Lin},
journal= {arXiv preprint arXiv:2401.00343},
year = {2024}
}