一种用于视觉重排的简单方法：三维映射与语义搜索
计算机视觉与模式识别
2022-08-11 v2 人工智能
机器学习
机器人学
摘要
对物体进行物理重排是具身智能体的重要能力。视觉房间重排评估智能体仅基于视觉输入将房间中物体重排至期望目标的能力。我们针对该问题提出一种简单而有效的方法：（1）搜索并映射需要被重排的物体；（2）逐个重排物体直至任务完成。我们的方法由一个现成的语义分割模型、基于体素的语义地图以及用于高效寻找需重排物体的语义搜索策略组成。在AI2-THOR重排挑战赛中，我们的方法将当前最先进的端到端基于强化学习、从环境学习视觉重排策略的方法从0.53%的正确重排率提升至16.56%，且仅使用了其2.7%的环境样本量。
引用
@article{arxiv.2206.13396,
title = {A Simple Approach for Visual Rearrangement: 3D Mapping and Semantic Search},
author = {Brandon Trabucco and Gunnar Sigurdsson and Robinson Piramuthu and Gaurav S. Sukhatme and Ruslan Salakhutdinov},
journal= {arXiv preprint arXiv:2206.13396},
year = {2022}
}
备注
Winner of the Rearrangement Challenge at CVPR 2022