CLIPGraphs：用于推断物体-房间亲和力的多模态图网络
机器人学
2023-06-05 v1
摘要
本文提出一种用于具身场景重排中确定放置物体最佳房间的新方法。尽管最先进的方法依赖大语言模型（LLM）或强化学习（RL）策略完成该任务，我们的方法 CLIPGraphs 高效地结合了常识领域知识、数据驱动方法以及多模态学习的最新进展。具体而言，它 (a) 编码关于家庭环境中不同物体房间位置先验人类偏好的知识图，(b) 融合视觉-语言特征以支持基于图像或文本的多模态查询，(c) 使用图网络基于先验知识与视觉-语言特征的嵌入学习物体-房间亲和力。我们证明，与最先进的基线相比，我们的方法能更好地估计基准物体类别集中物体最合适的放置位置。
引用
@article{arxiv.2306.01540,
title = {CLIPGraphs: Multimodal Graph Networks to Infer Object-Room Affinities},
author = {Ayush Agrawal and Raghav Arora and Ahana Datta and Snehasis Banerjee and Brojeshwar Bhowmick and Krishna Murthy Jatavallabhula and Mohan Sridharan and Madhava Krishna},
journal= {arXiv preprint arXiv:2306.01540},
year = {2023}
}