RenderIH：用于三维交互手姿态估计的大规模合成数据集
计算机视觉与模式识别
2023-09-29 v3
摘要
当前的交互手（IH）数据集在背景与纹理上相对简单，手部关节由机器标注，可能存在不准确之处，且姿态分布多样性有限。然而，背景、姿态分布与纹理的变化性会极大影响泛化能力。为此，我们提出一个用于交互手的大规模合成数据集 RenderIH，其具有准确且多样的姿态标注。该数据集包含 100 万张具有不同背景、视角与手部纹理的照片级真实感图像。为生成自然且多样的交互姿态，我们提出一种新的姿态优化算法。此外，为获得更好的姿态估计精度，我们引入基于 transformer 的姿态估计网络 TransHand，以利用交互手之间的相关性，并验证 RenderIH 在提升结果上的有效性。我们的数据集与模型无关，相较于其他真实或合成数据集，可提升任意手姿态估计方法的精度。实验表明，在我们的合成数据上预训练可将误差从 6.76mm 显著降至 5.79mm，且我们的 TransHand 超越了同期方法。我们的数据集与代码发布于 https://github.com/adwardlee/RenderIH。
引用
@article{arxiv.2309.09301,
title = {RenderIH: A Large-scale Synthetic Dataset for 3D Interacting Hand Pose Estimation},
author = {Lijun Li and Linrui Tian and Xindi Zhang and Qi Wang and Bang Zhang and Mengyuan Liu and Chen Chen},
journal= {arXiv preprint arXiv:2309.09301},
year = {2023}
}
备注
Accepted by ICCV 2023