DDF-HO：基于条件有向距离场的手持物体重建
计算机视觉与模式识别
2023-10-27 v3
摘要
从单张RGB图像重建手持物体是一个重要且具有挑战性的问题。现有利用有符号距离场(SDF)的工作在全面捕捉复杂手-物交互方面存在局限，因为SDF仅在目标邻近区域内可靠，因而无法同时编码局部手与物体线索。为解决该问题，我们提出DDF-HO，一种利用有向距离场(DDF)作为形状表示的新方法。与SDF不同，DDF将三维空间中的一条射线(由原点和方向组成)映射到相应的DDF值，包括判定射线是否与物体相交的二值可见性信号以及沿给定方向从原点到目标的距离值。我们随机采样多条射线，并通过引入一种新颖的基于2D射线的特征聚合方案和一种3D相交感知的手部姿态嵌入来为其收集从局部到全局的几何特征，结合2D-3D特征对手-物交互建模。在合成与真实数据集上的大量实验表明，DDF-HO始终大幅优于所有基线方法，尤其在Chamfer距离上实现了约80%的飞跃。代码见https://github.com/ZhangCYG/DDFHO。
引用
@article{arxiv.2308.08231,
title = {DDF-HO: Hand-Held Object Reconstruction via Conditional Directed Distance Field},
author = {Chenyangguang Zhang and Yan Di and Ruida Zhang and Guangyao Zhai and Fabian Manhardt and Federico Tombari and Xiangyang Ji},
journal= {arXiv preprint arXiv:2308.08231},
year = {2023}
}
备注
Camera Ready for NeurIPS 2023