扩大动态人-场景交互建模规模
计算机视觉与模式识别
2024-05-27 v2
摘要
面对人-场景交互建模中数据稀缺和高级运动合成的挑战，我们引入了 TRUMANS 数据集以及一种新颖的 HSI 运动合成方法。TRUMANS 是目前可用的最全面的运动捕捉 HSI 数据集，包含超过 15 小时在 100 个室内场景中的人类交互。它精细地捕捉了全身人体运动和部件级物体动态，重点关注接触的真实性。通过将物理环境转化为精确的虚拟模型，并在保持交互保真度的同时对人类和物体的外观与运动进行广泛增强，该数据集规模进一步扩大。利用 TRUMANS，我们设计了一种基于扩散的自回归模型，该模型能够高效生成任意长度的 HSI 序列，同时考虑场景上下文和预期动作。在实验中，我们的方法在一系列 3D 场景数据集（例如 PROX、Replica、ScanNet、ScanNet++）上表现出卓越的零样本泛化能力，生成的运动与原始运动捕捉序列高度相似，这一点已通过定量实验和人体研究得到证实。
引用
@article{arxiv.2403.08629,
title = {Scaling Up Dynamic Human-Scene Interaction Modeling},
author = {Nan Jiang and Zhiyuan Zhang and Hongjie Li and Xiaoxuan Ma and Zan Wang and Yixin Chen and Tengyu Liu and Yixin Zhu and Siyuan Huang},
journal= {arXiv preprint arXiv:2403.08629},
year = {2024}
}