用于3D姿态估计的自监督多视角同步学习
计算机视觉与模式识别
2020-10-14 v1
摘要
当前最先进方法通过将单目3D人体姿态估计视为学习问题，在大型图像与对应骨架姿态数据集上训练神经网络。相反，我们提出一种方法，可通过在（大型）无标注数据集上以自监督学习预训练网络并进行微调，从而利用小型标注数据集。为在预训练阶段驱动此类网络支持3D姿态估计，我们引入一种新颖的自监督特征学习任务，旨在关注图像中的3D结构。我们利用多视角相机系统捕获视频中提取的图像。该任务是分类两幅图像是否描绘同一场景在刚体变换下的两个视角。在多视角数据集中，物体以非刚体方式形变，刚体变换仅发生在确切同时拍摄的两视角之间，即它们同步时。我们在Human3.6M数据集上证明了同步任务的有效性，并在3D人体姿态估计中取得了最先进结果。
引用
@article{arxiv.2010.06218,
title = {Self-Supervised Multi-View Synchronization Learning for 3D Pose Estimation},
author = {Simon Jenni and Paolo Favaro},
journal= {arXiv preprint arXiv:2010.06218},
year = {2020}
}
备注
ACCV 2020 (oral)