AffordSim：面向可获取感知机器人操作的可扩展数据生成器与基准
机器人学
2026-05-12 v2 人工智能
摘要
许多日常机器人操作技能依赖于可获取感知，成功与否取决于机器人是否与后续动作所需的功能性物体区域接触。当前仿真数据生成器从通用抓取估计算取接触点，或依赖每个物体和任务的手动接触标注，但通用估计算会对稳定抓取进行排名，而不考虑任务语义，常选取与下游动作不匹配的接触点；手动接触标注则需为每个新物体和任务重写。为解决这些挑战，我们引入AffordSim，一个集成开放词汇3D可获取感知预测于仿真轨迹生成中的可扩展数据生成器和基准。给定自然语言任务描述，AffordSim合成与任务相关的场景，发出可获取感知查询，在物体表面对其进行定位，采样区域条件抓取，选取可执行候选方案进行运动规划。它进一步随机化物体姿态、纹理、照明、图像噪声和跨视角背景，以实现仿真到真实的迁移。我们将AffordSim实例化为覆盖50个任务、5种机器人本体、500多个刚性和可动对象的数据基准。AffordSim在可获取感关键任务上实现了相当于手动接触标注93%的轨迹收集成功率，在困难的复合任务上达到89%。在AffordSim数据上训练的视觉-语言-动作策略实现零样本迁移到真实Franka FR3机器人，平均成功率达24%。
引用
@article{arxiv.2604.11674,
title = {AffordSim: A Scalable Data Generator and Benchmark for Affordance-Aware Robotic Manipulation},
author = {Mingyang Li and Haofan Xu and Haowen Sun and Xinzhe Chen and Sihua Ren and Liqi Huang and Xinyang Sui and Chenyang Miao and Jiawei Ye and Qiongjie Cui and Zeyang Liu and Xingyu Chen and Xuguang Lan},
journal= {arXiv preprint arXiv:2604.11674},
year = {2026}
}