POCO：带置信度的三维姿态与形状估计
计算机视觉与模式识别
2023-08-25 v1
摘要
从图像回归三维人体姿态与形状（HPS）正变得日益准确。这使得结果对下游任务（如人体动作识别或三维图形）有用。然而，没有回归器是完美的，准确性可能受模糊图像证据或训练时未见的姿态与外观影响。多数当前HPS回归器不报告输出的置信度，意味着下游任务无法区分准确与不准确估计。为此，我们开发POCO，一种新颖框架，训练HPS回归器在单次前馈中不仅估计三维人体还估计其置信度。具体而言，POCO估计三维身体姿态与每样本方差。关键思想是引入双条件策略（DCS）回归与姿态重建质量高度相关的不确定性。POCO框架可应用于任意HPS回归器，此处我们通过修改HMR、PARE和CLIFF进行评估。所有情况下，训练网络推理不确定性有助于其学习更准确估计三维姿态。虽非我们的目标，提升不大但一致。我们的主要动机是为下游任务提供不确定性估计；我们以两种方式展示：（1）用置信度估计引导HPS训练。给定无标注图像数据，我们将POCO训练回归器的置信估计作为伪真值。用此自动筛选数据重训提升准确性。（2）我们在视频姿态估计中利用不确定性，自动识别不确定帧（如因遮挡）并从置信帧修复。代码与模型将于 https://poco.is.tue.mpg.de 提供供研究。
引用
@article{arxiv.2308.12965,
title = {POCO: 3D Pose and Shape Estimation with Confidence},
author = {Sai Kumar Dwivedi and Cordelia Schmid and Hongwei Yi and Michael J. Black and Dimitrios Tzionas},
journal= {arXiv preprint arXiv:2308.12965},
year = {2023}
}