HOIverse：包含人体-物体相互作用的合成场景图数据集
计算机视觉与模式识别
2025-06-25 v1
摘要
当人类和机器人主体共存于环境中时，场景理解对于执行导航和规划等下游任务至关重要。因此，主体必须能够定位和识别由人类执行的动作。当前研究缺乏可靠的数据集，用于对室内环境中的场景理解进行建模，其中人类也是场景的一部分。场景图（Scene Graph）使我们能够生成场景或图像的结构化表示，以进行视觉场景理解。为此，我们提出HOIverse，一个位于场景图和人体-物体相互作用交叉点的合成数据集，包含人类与周围物体之间准确且稠密的关系真实标注，以及对应的RGB图像、分割掩码、深度图像和人体关键点。我们计算各种对象对和人体-物体对之间的参数化关系， resulting in accurate and unambiguous relation definitions。此外，我们在最新状态的场景图生成模型上对数据集进行基准测试，以预测参数化关系和人体-物体相互作用。通过该数据集，我们旨在加速该领域涉及人物的场景理解研究的进展。
引用
@article{arxiv.2506.19639,
title = {HOIverse: A Synthetic Scene Graph Dataset With Human Object Interactions},
author = {Mrunmai Vivek Phatak and Julian Lorenz and Nico Hörmann and Jörg Hähner and Rainer Lienhart},
journal= {arXiv preprint arXiv:2506.19639},
year = {2025}
}