UNIC：学习统一多模态外接触估计
机器人学
2026-02-03 v2 人工智能
计算机视觉与模式识别
摘要
充实的操控操作需要可靠的外接触估计——即抓握物体与其环境之间交互方式，这些交互为规划、控制和策略学习提供了essential的上下文信息。然而，现有方法往往依赖限制性假设，例如预定义的接触类型、固定的抓取配置或相机标定，这些假设阻碍了对新物体的泛化以及在非结构化环境中的部署。本文提出了UNIC，一个用于外接触估计的统一多模态框架，无需任何先验知识或相机标定。UNIC直接编码相机坐标系中的视觉观察，并以完全数据驱动的方式将其与先天和触觉模态集成。它引入了基于场景可 affordance 图的统一接触表示，捕捉多样化的接触形态，并采用随机遮蔽的多模态融合机制，实现稳健的多模态表征学习。大量实验表明，UNIC表现可靠：在未见的接触位置上实现了9.6 mm的平均Chamfer距离误差，能在未见物体上正常工作，面对缺失的模态仍具鲁棒性，并且能够适应动态相机视角。这些结果将外接触估计建立为contact-rich操控中实用且通用的能力。概览和硬件实验视频请访问 https://youtu.be/xpMitkxN6Ls?si=7Vgj-aZ_P1wtnWZN
引用
@article{arxiv.2601.04356,
title = {UNIC: Learning Unified Multimodal Extrinsic Contact Estimation},
author = {Zhengtong Xu and Yuki Shirai},
journal= {arXiv preprint arXiv:2601.04356},
year = {2026}
}