Omni-Scan: 使用双手臂机器人通过交接与高斯光栅合并创建视觉准确的数字孪生对象模型
机器人学
2025-08-04 v1 计算机视觉与模式识别
摘要
3D 高斯光栅(3DGS)是由多视图图像派生的3D对象模型。此类"数字孪生"对模拟、虚拟现实、营销、机器人策略微调以及零件检测等很有用。3D对象扫描通常需要多摄像机阵列、精确激光扫描仪或机器人腕部安装相机，这些设备的工作空间受限。我们提出Omni-Scan，一个使用双手臂机器人产生高质量3D 高斯光栅模型的管道，其中一个夹具抓取物体并相对于固定相机旋转物体。随后，第二个夹具重新抓取物体以暴露被第一个夹具遮挡的表面。我们使用 DepthAny-thing、Segment Anything 以及 RAFT 光流模型呈现 Omni-Scan 机器人管道，用于识别和隔离被机器人夹具抓取的物体，同时移除夹具和背景。我们修改3DGS训练管道以支持带夹具遮挡的拼接数据集，生成物体的全向(360度视角)模型。我们将Omni-Scan应用于零件缺陷检测，发现其在12种工业和生活用品对象上可实现83%的平均准确率。Omni-Scan 3DGS模型的交互式视频可在 https://berkeleyautomation.github.io/omni-scan/ 查看。
引用
@article{arxiv.2508.00354,
title = {Omni-Scan: Creating Visually-Accurate Digital Twin Object Models Using a Bimanual Robot with Handover and Gaussian Splat Merging},
author = {Tianshuang Qiu and Zehan Ma and Karim El-Refai and Hiya Shah and Chung Min Kim and Justin Kerr and Ken Goldberg},
journal= {arXiv preprint arXiv:2508.00354},
year = {2025}
}