ArtiBoost：通过在线探索与合成提升关节式三维手-物姿态估计
计算机视觉与模式识别
2022-03-28 v2 人工智能
摘要
从单张RGB图像估计关节式三维手-物姿态是一个高度模糊且具挑战性的问题，需要包含多样手部姿态、物体类型和相机视角的大规模数据集。大多数真实世界数据集缺乏这些多样性。相比之下，数据合成可轻易分别保证上述多样性。然而，构建有效且多样的手-物交互并从海量合成数据中高效学习仍具挑战。为解决上述问题，我们提出ArtiBoost，一种轻量级在线数据增强方法。ArtiBoost通过在组合手-物构型与视角空间（CCV-space）中采样，可覆盖多样的手-物姿态与相机视角，并能通过损失反馈与样本重加权自适应地丰富当前难以辨别的样本。ArtiBoost在学习流程中交替执行数据探索与合成，并将这些合成数据混合进真实世界源数据用于训练。我们将ArtiBoost应用于简单的学习基线网络，并见证了其在多个手-物基准上的性能提升。我们的模型和代码发布于 https://github.com/lixiny/ArtiBoost。
引用
@article{arxiv.2109.05488,
title = {ArtiBoost: Boosting Articulated 3D Hand-Object Pose Estimation via Online Exploration and Synthesis},
author = {Kailin Li and Lixin Yang and Xinyu Zhan and Jun Lv and Wenqiang Xu and Jiefeng Li and Cewu Lu},
journal= {arXiv preprint arXiv:2109.05488},
year = {2022}
}
备注
Accepted by CVPR 2022