利用铰接 SE(3) 等变性将神经人体拟合泛化至未见姿态
计算机视觉与模式识别
2023-09-20 v2
摘要
我们解决将参数化人体模型（SMPL）拟合到点云数据的问题。基于优化的方法需要谨慎的初始化，并且容易陷入局部最优。基于学习的方法解决了这一问题，但当输入姿态远离训练时所见姿态时泛化不佳。对于刚性点云，通过利用 SE(3)-等变网络已实现显著的泛化，但这些方法不适用于铰接物体。在这项工作中，我们将该思想扩展到人体，并提出 ArtEq，一种新颖的基于部件的 SE(3)-等变神经架构，用于从点云估计 SMPL 模型。具体而言，我们利用局部 SO(3) 不变性学习部件检测网络，并使用铰接 SE(3) 形状不变和姿态等变网络回归形状和姿态，全部端到端训练。我们新颖的姿态回归模块利用自注意力层的置换等变性质来保持旋转等变性。实验结果表明，ArtEq 泛化到训练时未见的姿态，在身体重建精度上以约 44% 的优势超越最先进方法，且无需优化细化步骤。此外，ArtEq 在推理时比先前工作快三个数量级，且参数减少 97.3%。代码和模型可用于研究目的，见 https://arteq.is.tue.mpg.de。
引用
@article{arxiv.2304.10528,
title = {Generalizing Neural Human Fitting to Unseen Poses With Articulated SE(3) Equivariance},
author = {Haiwen Feng and Peter Kulits and Shichen Liu and Michael J. Black and Victoria Abrevaya},
journal= {arXiv preprint arXiv:2304.10528},
year = {2023}
}
备注
Accepted at ICCV 2023 as an oral presentation. Project page: https://arteq.is.tue.mpg.de ; Update V2: Camera-Ready version, fix metric issues and numeric bug of ID performance