从单张RGB图像生成旋转等变的三维手部网格
计算机视觉与模式识别
2021-11-29 v1 机器学习
摘要
我们开发了一个旋转等变模型，用于从二维RGB图像生成三维手部网格。这保证了当输入的手部图像旋转时，生成的网格经历相应的旋转。此外，这消除了通常由不具备旋转等变性的方法生成的网格中不希望出现的变形。通过考虑问题中的对称性来构建旋转等变模型，我们减少了为获得良好网格重建而对超大数据集训练的需求。编码器接收定义在ℤ²上的图像，并将其映射到定义在群C₈上的隐函数。我们引入了一种新颖的向量映射函数，将定义在C₈上的函数映射到定义在群SO(2)上的隐式点云空间。此外，我们引入了一个三维投影函数，从SO(2)隐空间学习三维函数。最后，我们使用一个SO(3)等变解码器来确保旋转等变性。我们的旋转等变模型在真实世界数据集上优于最先进的方法，并且我们证明，在输入手部旋转的情况下，它能准确捕捉生成网格中的形状和姿态。
引用
@article{arxiv.2111.13023,
title = {Rotation Equivariant 3D Hand Mesh Generation from a Single RGB Image},
author = {Joshua Mitton and Chaitanya Kaul and Roderick Murray-Smith},
journal= {arXiv preprint arXiv:2111.13023},
year = {2021}
}