HOSt3R：基于RGB图像的无关键点手部-对象3D重建

手部-对象3D重建日益增长，已在人机交互和沉浸式AR/VR体验中发挥重要作用。来自RGB序列的对象无关手部-对象重建的常见方法包括两个阶段的管线：手部-对象3D跟踪 followed by 多视角3D重建。然而，现有方法依赖于关键点检测技术，如结构从运动（SfM）和手部关键点优化，这些技术在面对多样化的对象几何形状、弱纹理和相互手部-对象遮挡时，难以实现可扩展性和良好概括。作为实现通用且无缝、非侵入性应用的关键使能器，我们在本工作中提出了一种稳健的、无需关键点检测的方法，从单目运动视频/图像中估计手部-对象3D变换。我们进一步将其与多视角重建管线集成，以准确恢复手部-对象3D形状。我们称之为HOSt3R的方法，具有无约束性，不依赖预先扫描的对象模板或相机内参，在SHOWMe基准测试中，在对象无关手部-对象3D变换和形状估计任务上达到最佳性能。我们还在HO3D数据集的序列上进行实验，表明其对未见对象类别具有良好的概括能力。