基于跨分支特征融合的单图像手-物联合三维重建
计算机视觉与模式识别
2021-04-21 v2
摘要
从手-物图像中准确重建手与物体的三维形状，对于理解人-物交互以及人类日常活动十分重要。与裸手姿态估计不同，手-物交互对手及其操控的物体施加了强约束，这表明手的构型可能是物体的关键上下文信息，反之亦然。然而，当前方法通过训练双分支网络分别重建手和物体，两分支之间很少交流。本工作中，我们提出在特征空间中联合考虑手与物体，并探索两分支的互补性。我们广泛研究了采用MLP或LSTM单元的跨分支特征融合架构。在所研究的架构中，采用LSTM单元以手特征增强物体特征的变体取得了最佳性能提升。此外，我们采用辅助深度估计模块，以估计的深度图扩充输入RGB图像，进一步提高了重建精度。在公开数据集上的实验表明，我们的方法在物体重建精度方面显著优于现有方法。
引用
@article{arxiv.2006.15561,
title = {Joint Hand-object 3D Reconstruction from a Single Image with Cross-branch Feature Fusion},
author = {Yujin Chen and Zhigang Tu and Di Kang and Ruizhi Chen and Linchao Bao and Zhengyou Zhang and Junsong Yuan},
journal= {arXiv preprint arXiv:2006.15561},
year = {2021}
}
备注
Accepted by IEEE Transactions on Image Processing (TIP)