Housekeep：利用常识推理整理虚拟家庭
计算机视觉与模式识别
2022-05-24 v1
摘要
我们提出 Housekeep，一个用于评估具身 AI 在家庭场景中常识推理能力的基准。在 Housekeep 中，具身智能体必须通过重新摆放错放的物体来整理房屋，而没有明确指令指明哪些物体需要被重新摆放。相反，智能体必须从人类对于整洁房屋中物体应放置于何处的偏好中学习，并依此接受评估。具体而言，我们收集了一个数据集，包含人类在整洁与杂乱房屋中通常摆放物体的位置，涵盖 1799 个物体、268 个物体类别、585 个摆放位置以及 105 个房间。接下来，我们提出一种用于 Housekeep 的模块化基线方法，集成了规划、探索与导航。该方法利用在互联网文本语料上微调的大语言模型（LLM）进行有效规划。我们展示了我们的基线智能体能够泛化到在未知环境中重新摆放未见过的物体。更多细节请见我们的网页：https://yashkant.github.io/housekeep/
引用
@article{arxiv.2205.10712,
title = {Housekeep: Tidying Virtual Households using Commonsense Reasoning},
author = {Yash Kant and Arun Ramachandran and Sriram Yenamandra and Igor Gilitschenski and Dhruv Batra and Andrew Szot and Harsh Agrawal},
journal= {arXiv preprint arXiv:2205.10712},
year = {2022}
}