ParaHome：面向人-物交互3D生成建模的日常家庭活动参数化
计算机视觉与模式识别
2025-01-23 v2
摘要
为了使机器能够理解人类在日常生活中与物理世界交互的方式，应在自然环境中捕捉3D交互信号，允许人们在一系列顺序和随意的操作中与多个物体进行交互。为了实现这一目标，我们引入了ParaHome系统，旨在捕捉普通家庭环境中人与物体的动态3D运动。我们的系统采用多视角设置，配备70台同步RGB摄像机，以及可穿戴动作捕捉设备，包括基于IMU的身体服和手部动作捕捉手套。借助ParaHome系统，我们收集了一个新的人-物交互数据集，包含38名参与者的207次捕捉共486分钟的序列，在三个关键方面取得了进展：（1）在情境家庭环境中捕捉身体运动、灵巧手部操作运动以及多个物体；（2）包含顺序和并发操作并配有文本描述；（3）包含由3D参数化模型表示的具有多个部分的铰接式物体。我们展示了系统的详细设计理由，并进行了关键的生成建模实验以证明我们数据集的潜力。
引用
@article{arxiv.2401.10232,
title = {ParaHome: Parameterizing Everyday Home Activities Towards 3D Generative Modeling of Human-Object Interactions},
author = {Jeonghwan Kim and Jisoo Kim and Jeonghyeon Na and Hanbyul Joo},
journal= {arXiv preprint arXiv:2401.10232},
year = {2025}
}