HOI-M3：捕获上下文环境中的多个人类与物体交互
计算机视觉与模式识别
2024-04-03 v2
摘要
人类自然地与他人及周围的多个物体进行交互，参与各种社交活动。然而，近期在建模人类-物体交互方面的进展主要关注感知孤立的个体和物体，由于根本数据稀缺。这一paper引入了HOI-M3，一个新的大型数据集，用于建模多个人类和多个物体的交互。值得注意的是，它提供了来自稠密RGB和物体挂载IMU输入的准确3D跟踪，覆盖199个序列和18100万帧的多样化人类和物体，涵盖丰富的活动。凭借独特的HOI-M3数据集，我们引入了两个新颖的数据驱动任务，伴随强大的基线方法：单眼捕获和多个人类-物体交互的非结构化生成。广泛的实验表明，数据集具有挑战性且值得进一步研究关于多个人类-物体交互和行为分析。我们的HOI-M3数据集、相应代码和预训练模型将向社区公开，以便未来的研究。
引用
@article{arxiv.2404.00299,
title = {HOI-M3:Capture Multiple Humans and Objects Interaction within Contextual Environment},
author = {Juze Zhang and Jingyan Zhang and Zining Song and Zhanhe Shi and Chengfeng Zhao and Ye Shi and Jingyi Yu and Lan Xu and Jingya Wang},
journal= {arXiv preprint arXiv:2404.00299},
year = {2024}
}
备注
Accepted to CVPR 2024