TIDEE：利用视觉-语义常识先验整理陌生房间
计算机视觉与模式识别
2022-07-25 v1
摘要
我们介绍了 TIDEE，一种基于习得的常识性物体摆放与房间布局先验来整理杂乱场景的具身智能体。TIDEE 探索家庭环境，检测不在其自然位置上的物体，推断它们合理的物体上下文，在当前场景中定位此类上下文，并重新摆放物体。常识先验被编码在三个模块中：i) 检测错位物体的视觉-语义检测器；ii) 物体与空间关系的关联神经图记忆，为物体重新摆放提出合理的语义容器与表面；iii) 视觉搜索网络，引导智能体探索以高效地在当前场景中定位感兴趣容器从而重新摆放物体。我们在 AI2THOR 仿真环境中测试 TIDEE 整理杂乱场景的能力。TIDEE 直接根据像素与原始深度输入执行任务，此前从未观察过同一房间，仅依赖从一组独立训练房屋中学得的先验。对所得房间重组结果的人工评估表明，TIDEE 优于不使用一个或多个常识先验的模型消减版本。在一个相关的房间重排基准上（该基准允许智能体在重排前查看目标状态），我们模型的简化版本大幅优于一种顶级方法。代码与数据可在项目网站获取：https://tidee-agent.github.io/。
引用
@article{arxiv.2207.10761,
title = {TIDEE: Tidying Up Novel Rooms using Visuo-Semantic Commonsense Priors},
author = {Gabriel Sarch and Zhaoyuan Fang and Adam W. Harley and Paul Schydlo and Michael J. Tarr and Saurabh Gupta and Katerina Fragkiadaki},
journal= {arXiv preprint arXiv:2207.10761},
year = {2022}
}