TransDex：面向透明物体的基于点云重建的视觉-触觉策略预训练
机器人学
2026-03-17 v1 人工智能
摘要
指尖操作能够实现复杂任务，但在处理透明物体时 suffers from 自遮挡、严重深度噪声和深度信息丢失。为此，本文提出 TransDex，一种基于点云重建预训练的 3D 视觉-触觉融合运动策略。具体而言，我们首先提出一种基于 Transformer 的自监督点云重建预训练方法，该方法即使在随机噪声和大规模遮挡被添加后，仍能准确恢复透明物体的 3D 结构。基于此，构建了 TransDex，其感知编码采用细粒度分层方案和多轮注意力机制，自适应融合机器人臂和指尖手的特征，以实现差别化的运动预测。在真实机器人系统上的透明物体操控实验结果表明，TransDex 在已有基线方法之上。进一步的分析验证了 TransDex 的泛化能力以及各组件的有效性。
关键词
引用
@article{arxiv.2603.13869,
title = {TransDex: Pre-training Visuo-Tactile Policy with Point Cloud Reconstruction for Dexterous Manipulation of Transparent Objects},
author = {Fengguan Li and Yifan Ma and Chen Qian and Wentao Rao and Weiwei Shang},
journal= {arXiv preprint arXiv:2603.13869},
year = {2026}
}
备注
Project page: https://transdex.github.io/