面向人体姿态估计的结构组自约束推理优化

我们观察到，由于人体不同身体部位的生物约束，人体姿态在关键点之间表现出强烈的组级结构相关性和空间耦合。这种组级结构相关性可被探索以提升人体姿态估计的准确性和鲁棒性。在本工作中，我们开发了一种自约束预测-验证网络，以在训练过程中刻画并学习关键点之间的结构相关性。在推理阶段，来自验证网络的反馈信息使我们能够对姿态预测进行进一步优化，从而显著提升人体姿态估计的性能。具体而言，我们根据人体的生物结构将关键点划分为若干组。在每组内，关键点被进一步划分为两个子集：高置信度基础关键点与低置信度末端关键点。我们开发了一种自约束预测-验证网络，在这些关键点子集之间执行前向与后向预测。姿态估计以及通用预测任务中的一个根本挑战在于，由于无法获得真实标注，我们没有机制来验证所获得的姿态估计或预测结果是否准确。一旦成功学习，验证网络即可作为前向姿态预测的精度验证模块。在推理阶段，它可用于以高置信度关键点上的自约束损失为目标函数，指导低置信度关键点姿态估计结果的局部优化。我们在基准MS COCO和CrowdPose数据集上的大量实验结果表明，所提方法能显著改善姿态估计结果。