基于 VR 生成用于训练手-物跟踪模型的光电真实感合成数据
计算机视觉与模式识别
2024-02-05 v2
摘要
用于精确跟踪 3D 手-物交互 (HOI) 的监督学习模型需要大量标注数据进行训练。此外，非专家在 2D 图像上标注 3D 真实值（例如 6DoF 物体姿态）并不直观。为了解决这些问题，我们提出了“blender-hoisynth”，一个基于 Blender 软件的交互式合成数据生成器。Blender-hoisynth 可以大规模生成并自动标注视觉 HOI 训练数据。其他竞争方法通常完全无需人工输入即可生成合成 HOI 数据。虽然这在某些场景下可能有益，但 HOI 应用本质上需要直接控制 HOI 作为人类意图的表达。借助 blender-hoisynth，用户可以使用标准的虚拟现实硬件通过虚拟手与物体进行交互。合成生成的数据具有高度的光影真实感，并包含视觉上合理且物理上真实的手抓取物体并在 3D 空间中移动它们的视频。为了证明我们数据生成的有效性，我们用 hoisynth 数据替换了著名的 DexYCB 数据集中的大部分训练数据，并用其训练了一个最先进的 HOI 重建模型。我们表明，尽管进行了数据替换，模型性能并未出现显著下降。
引用
@article{arxiv.2401.17874,
title = {VR-based generation of photorealistic synthetic data for training hand-object tracking models},
author = {Chengyan Zhang and Rahul Chaudhari},
journal= {arXiv preprint arXiv:2401.17874},
year = {2024}
}