arg-VU：面向手术机器人视觉理解的物理感知三维几何 affordance 推理
计算机视觉与模式识别
2026-03-31 v1 机器人学
摘要
Affordance 推理为感知与行动之间提供了原则性联系，但在手术机器人领域仍未被充分探索——该领域中组织高度可变形、顺应性强，并与工具运动动态耦合。我们提出了 arg-VU，一个物理感知的 affordance 推理框架，将时间一致的几何跟踪与约束诱导的力学建模相结合，用于手术视觉理解。手术场景通过 3D 高斯溅射（3DGS）重建，并转换为时间跟踪的曲面表示。扩展位置动力学（XPBD）嵌入局部变形约束并产生代表性几何点（RGPs），其约束灵敏度定义了各向异性刚度指标，捕捉局部约束流形几何。SE(3) 中的机器人工具位姿被纳入以计算 RGPs 上的刚体诱导位移，由此我们推导出两个互补指标：一个物理感知的柔顺性能量，用于评估相对于局部变形约束的力学可行性；以及一个位置一致性得分，用于捕捉运动对齐（作为运动学运动基线）。在手术视频数据集上的实验表明，arg-VU 相比运动学基线产生了更稳定、物理一致且可解释的 affordance 预测。这些结果表明，物理感知的几何表示可为可变形手术环境中的可靠 affordance 推理提供支持，并支撑具身机器人交互。
引用
@article{arxiv.2603.26814,
title = {arg-VU: Affordance Reasoning with Physics-Aware 3D Geometry for Visual Understanding in Robotic Surgery},
author = {Nan Xiao and Yunxin Fan and Farong Wang and Fei Liu},
journal= {arXiv preprint arXiv:2603.26814},
year = {2026}
}