HandBooster：通过手物交互的条件合成与采样增强三维手部网格重建
计算机视觉与模式识别
2024-03-28 v1
摘要
由于现有真实世界数据集缺乏多样性，从单张图像稳健地重建三维手部网格极具挑战性。虽然数据合成有助于缓解这一问题，但合成到真实的差距仍然阻碍其应用。在这项工作中，我们提出了HandBooster，这是一种通过在手物交互上训练条件生成空间并有目的地从该空间采样以合成有效数据样本，从而提升数据多样性并增强三维手部网格重建性能的新方法。首先，我们构建了多功能的、内容感知的条件，以引导扩散模型生成具有多样手部外观、姿态、视角和背景的逼真图像；有利的是，精确的三维标注可以免费获得。然后，我们设计了一种基于相似性感知分布采样策略的新型条件创建器，以刻意寻找与训练集不同的、新颖且逼真的交互姿态。借助我们的方法，多个基线模型在HO3D和DexYCB基准上的性能可以显著提升，超越现有最佳水平。我们的代码将在https://github.com/hxwork/HandBooster_Pytorch上发布。
引用
@article{arxiv.2403.18575,
title = {HandBooster: Boosting 3D Hand-Mesh Reconstruction by Conditional Synthesis and Sampling of Hand-Object Interactions},
author = {Hao Xu and Haipeng Li and Yinqiao Wang and Shuaicheng Liu and Chi-Wing Fu},
journal= {arXiv preprint arXiv:2403.18575},
year = {2024}
}