OSMa-Bench++：面向操作的语义映射的开放式基准测试框架
计算机视觉与模式识别
2026-05-27 v1 机器人学
摘要
语义映射方法越来越多地被用作下游机器人推理和操作的中间场景表示，但其评估仍大多依赖固定的基准数据集，且对操作相关的边界情况覆盖有限。本文将 OSMa-Bench 向支持可控基准测试的prompt-generated合成室内场景扩展。我们的管道自动生成场景描述，合成相应的环境（使用 SceneSmith），并将 resulting 资产适配为 OSMa-Bench 兼容的仿真格式。这种适配需要包括语义归一化、材质和纹理修复、着色器后备策略、地板处理、导航设置以及受控灯光配置等在内的非平凡中间层。本方案的一个关键优势是，原始场景生成 prompt 事先已知，可因此作为场景的辅助语义规格。我们利用这一属性，将 OSMa-Bench 的 VQA 组件扩展为一种基于 prompt 的问题类别。该 resulting 框架支持在如杂乱、小对象、部分遮挡和光照变化等条件下对语义场景表示进行有针对性的压力测试，并使基准测试更加可扩展，更贴合下游操作要求。我们的代码已公开于 https://github.com/be2rlab/OSMa-Bench-v2。
引用
@article{arxiv.2605.26831,
title = {OSMa-Bench++: Toward Open-Ended Benchmarking of Semantic Mapping for Manipulation with Prompt-Generated Synthetic Scenes},
author = {Regina Kurkova and Maxim Popov and Sergey Kolyubin},
journal= {arXiv preprint arXiv:2605.26831},
year = {2026}
}
备注
Code: https://github.com/be2rlab/OSMa-Bench-v2