HOGSA：基于3D高斯泼溅数据增强的双手物体交互理解
计算机视觉与模式识别
2025-01-07 v1
摘要
双手物体交互的理解在机器人和虚拟现实中扮演着重要角色。然而，由于手与物体之间的显著遮挡以及高自由度运动，收集和标注高质量、大规模数据集具有挑战性，这阻碍了双手物体交互相关基线的进一步改进。在这项工作中，我们提出了一种新的基于3D高斯泼溅的数据增强框架，用于双手物体交互，能够将现有数据集增强为具有各种手-物体姿态和视角的大规模逼真数据。首先，我们使用基于网格的3DGS对物体和手进行建模，并针对多分辨率输入图像导致的渲染模糊问题，设计了一个超分辨率模块。其次，我们将单手抓取姿态优化模块扩展到双手物体，以生成各种双手物体交互姿态，从而显著扩展数据集的姿态分布。第三，我们分析了所提出数据增强的不同方面对双手物体交互理解的影响。我们在两个基准数据集H2O和Arctic上进行数据增强，并验证了我们的方法能够提升基线的性能。
引用
@article{arxiv.2501.02845,
title = {HOGSA: Bimanual Hand-Object Interaction Understanding with 3D Gaussian Splatting Based Data Augmentation},
author = {Wentian Qu and Jiahe Li and Jian Cheng and Jian Shi and Chenyu Meng and Cuixia Ma and Hongan Wang and Xiaoming Deng and Yinda Zhang},
journal= {arXiv preprint arXiv:2501.02845},
year = {2025}
}
备注
Accepted by AAAI2025