基于触觉条件的3D扩散模型用于形状探索与重建

扩散模型在3D生成任务中取得了突破性进展。当前的3D扩散模型侧重于从图像或部分观察中重建目标形状。虽然在全局上下文理解方面表现出色，但它们难以捕捉复杂形状的局部细节，且受限于遮挡和光照条件。为克服这些限制，我们利用触觉图像捕获局部3D信息，提出了Touch2Shape模型，利用触觉条件扩散模型从触觉信息中探索和重建目标形状。对于形状重建，我们 developed了一个触觉嵌入模块，用于在扩散模型中创建紧凑表示，以及一个触觉形状融合模块，用于细化重建的形状。对于形状探索，我们将扩散模型与强化学习结合，用于训练策略。该过程利用扩散模型生成的潜在向量，通过 novel reward design 指导触觉探索策略的训练。实验通过定性和定量分析验证了重建质量，触觉探索策略进一步提升了重建性能。