Procrustean 回归网络：从 2D 标注学习非刚性物体的 3D 结构
计算机视觉与模式识别
2020-07-22 v1
摘要
我们提出了一种训练神经网络的新框架，其能够在仅有 2D 标注作为真值时学习非刚性物体的 3D 信息。近来，已有一些方法将非刚性运动恢复结构（NRSfM）的问题设定融入深度学习以学习 3D 结构重建。NRSfM 最重要的困难是同时估计旋转与形变，先前工作通过回归二者来处理。本文中，我们通过提出一种自动确定合适旋转的损失函数来解决该困难。以由重投影误差与对齐形状的低秩项组成的代价函数进行训练，网络在训练期间学习诸如人体骨骼与面部等物体的 3D 结构，而测试在单帧基础上进行。所提方法可处理含缺失项输入，实验结果证实即便底层网络结构非常简单，所提框架在 Human 3.6M、300-VW 与 SURREAL 数据集上也展现出优于最先进方法的重建性能。
引用
@article{arxiv.2007.10961,
title = {Procrustean Regression Networks: Learning 3D Structure of Non-Rigid Objects from 2D Annotations},
author = {Sungheon Park and Minsik Lee and Nojun Kwak},
journal= {arXiv preprint arXiv:2007.10961},
year = {2020}
}
备注
ECCV 2020