基于接触细化Transformer的3D人体与物体联合重建
计算机视觉与模式识别
2024-04-09 v1
摘要
人体-物体接触是理解人类如何与物体物理交互的强有力线索。然而，利用人体-物体接触信息从单张图像联合重建3D人体和物体的方法尚未得到广泛探索。在这项工作中，我们提出了一种新颖的3D人体-物体联合重建方法（CONTHO），该方法有效利用了人体与物体之间的接触信息。我们系统中有两个核心设计：1）3D引导的接触估计，以及2）基于接触的3D人体和物体细化。首先，为了准确估计人体-物体接触，CONTHO初始重建3D人体和物体，并将其用作接触估计的显式3D引导。其次，为了细化3D人体和物体的初始重建，我们提出了一种新颖的基于接触的细化Transformer，该Transformer基于估计的人体-物体接触有效聚合人体特征和物体特征。所提出的基于接触的细化防止了学习人体与物体之间的错误相关性，从而实现了精确的3D重建。因此，我们的CONTHO在人体-物体接触估计和3D人体与物体联合重建方面均达到了最先进的性能。代码已在 https://github.com/dqj5182/CONTHO_RELEASE 公开。
引用
@article{arxiv.2404.04819,
title = {Joint Reconstruction of 3D Human and Object via Contact-Based Refinement Transformer},
author = {Hyeongjin Nam and Daniel Sungho Jung and Gyeongsik Moon and Kyoung Mu Lee},
journal= {arXiv preprint arXiv:2404.04819},
year = {2024}
}
备注
Published at CVPR 2024, 19 pages including the supplementary material