TouchAnything：稀疏机器人触摸的扩散引导 3D 重建
计算机视觉与模式识别
2026-04-13 v1 机器人学
摘要
准确的对象几何估计对于许多下游任务（包括机器人操控和物理交互）至关重要。尽管视觉是形态感知的主导模态，但在遮挡或恶劣照明条件下变得不可靠。在此类情况下，触觉感知通过物理接触提供直接的几何信息。然而，仅从稀疏局部触摸重建全局 3D 几何基本是受限的。我们提出 TouchAnything 框架，利用预训练的大规模 2D 视觉扩散模型作为语义和几何先验，用于稀疏触觉测量的 3D 重建。不同于先前工作，该方法不训练特定类别的重建网络，也不直接从触觉数据学习扩散模型，而是将预训练视觉扩散模型中编码的几何知识迁移到触觉领域。给定稀疏接触约束和粗糙的类别级对象描述，我们将重建形式化为一个优化问题，在强制触觉一致性的同时引导解决方案趋向于与扩散先验一致的形状。该方法仅需少量触摸即可重建准确几何，超越现有基线，并实现对以前未见过的对象实例的开放式 3D 重建。我们的项目页面为 https://grange007.github.io/touchanything。
引用
@article{arxiv.2604.08945,
title = {TouchAnything: Diffusion-Guided 3D Reconstruction from Sparse Robot Touches},
author = {Langzhe Gu and Hung-Jui Huang and Mohamad Qadri and Michael Kaess and Wenzhen Yuan},
journal= {arXiv preprint arXiv:2604.08945},
year = {2026}
}
备注
Project Page: https://grange007.github.io/touchanything