基于原型记忆在单目 3D 人体重建中追逐长尾
计算机视觉与模式识别
2021-01-01 v1
摘要
深度神经网络在单图像 3D 人体重建方面取得了巨大进展。然而，现有方法在预测罕见姿态时仍显不足。原因在于当前大多数模型基于单一人体原型进行回归，该原型类似于常见姿态而远离罕见姿态。在本工作中，我们 1) 识别并分析了这一学习障碍，且 2) 提出了一种原型记忆增强网络 PM-Net，有效提升了罕见姿态预测的性能。我们框架的核心是一个记忆模块，它学习并存储一组捕捉常见姿态或罕见姿态局部分布的 3D 人体原型。通过这种形式，回归从一个更好的初始化开始，相对更容易收敛。在几个广泛使用的数据集上的大量实验证明了所提框架相对于其他最先进方法的有效性。值得注意的是，我们的方法显著提升了模型在罕见姿态上的性能，同时在其他样本上生成了可比的结果。
引用
@article{arxiv.2012.14739,
title = {Chasing the Tail in Monocular 3D Human Reconstruction with Prototype Memory},
author = {Yu Rong and Ziwei Liu and Chen Change Loy},
journal= {arXiv preprint arXiv:2012.14739},
year = {2021}
}