重建交互人体的三维模型
计算机视觉与模式识别
2023-08-07 v2
摘要
理解三维人体交互对于细粒度场景分析与行为建模至关重要。然而，现有多数模型预测出不正确、无生气的 3d 估计，遗漏了细微的人体接触方面——事件的本质——且对详细行为理解用处甚微。本文通过若干贡献解决此类问题：(1) 我们引入交互签名估计（ISP）模型，涵盖接触检测、分割与 3d 接触签名预测；(2) 我们展示如何利用这些组件在 3d 重建过程中确保接触一致性；(3) 我们构建若干大型数据集用于学习和评估 3d 接触预测与重建方法；具体地，我们引入 CHI3D，一个基于实验室的精确 3d 动作捕捉数据集，含 631 段序列，包含 个接触事件、 个真实 3d 姿态，以及 FlickrCI3D，一个含 张图像、 对经处理的人体和 个面片级表面对应的数据集。最后，(4) 我们提出在受控设置中恢复交互人物的真实姿态与形状的方法，以及 (5) 用文本描述标注 CHI3D 中所有 3d 交互动作。多种格式（GHUM 与 SMPLX 参数、Human3.6m 3d 关节）的运动数据已发布于 \url{https://ci3d.imar.ro} 供研究使用，同时提供评估服务器与公开基准。
引用
@article{arxiv.2308.01854,
title = {Reconstructing Three-Dimensional Models of Interacting Humans},
author = {Mihai Fieraru and Mihai Zanfir and Elisabeta Oneata and Alin-Ionut Popa and Vlad Olaru and Cristian Sminchisescu},
journal= {arXiv preprint arXiv:2308.01854},
year = {2023}
}