深入混合标注以实现野外3D人体恢复
计算机视觉与模式识别
2019-08-21 v2
摘要
尽管单图像3D人体恢复已取得诸多进展，但对野外图像估计3D模型仍是一项艰巨挑战。原因在于获取野外图像的高质量3D标注是一项极其困难、耗费大量资源和人力的任务。为应对此问题，先前方法采用混合训练策略，利用包括3D和2D在内的多种异构标注类型，但未充分探究各标注的有效性。本工作中，我们旨在对不同的标注间成本与有效性权衡进行全面研究。具体而言，我们关注在配对3D标注不完全可用时，从单图像进行野外3D人体恢复这一挑战性任务。通过大量实验，我们得到若干观察：1）3D标注高效，而传统2D标注如2D关键点和身体部位分割在引导3D人体恢复方面较弱。2）稠密对应如DensePose是有效的。当没有配对的野外3D标注可用时，利用稠密对应的模型可达到使用配对3D数据训练模型的92%性能。我们表明，由于其高效性和相对较低的标注成本，将稠密对应纳入野外3D人体恢复是具有前景且具竞争力的。我们用稠密对应训练的模型可作为未来研究的强参考。
引用
@article{arxiv.1908.06442,
title = {Delving Deep Into Hybrid Annotations for 3D Human Recovery in the Wild},
author = {Yu Rong and Ziwei Liu and Cheng Li and Kaidi Cao and Chen Change Loy},
journal= {arXiv preprint arXiv:1908.06442},
year = {2019}
}
备注
To appear in ICCV 2019. Code and models are available at https://penincillin.github.io/dct_iccv2019