野外半监督无约束头部姿态估计

现有研究在野外无约束头部姿态估计中存在数据集缺陷：要么由非真实合成导致样本数量庞大或收集受限，要么规模小却带有合理的手动标注。这使得完全监督的解决方案因依赖大量标签而受限。为缓解这一问题，我们提出了首个半监督无约束头部姿态估计方法SemiUHPE，能够利用大量可获得的无标签头部图像。技术上，我们选择半监督旋转回归，并适应野外头部姿态中对误差敏感且标签稀缺的特征。我们的 метод基于这样一个观察：对野外头部进行比例不变裁剪优于以前基于人工关键点的仿射对齐，因为无约束人脸的关键点通常不可得，尤其是对非正面头部更是如此。与使用固定阈值筛选伪标签的做法不同，我们提出基于动态熵的筛选方法，通过在多个阶段更新阈值来适应性地移除训练过程中无标签异常值。随后我们重新审视弱-强数据增强的设计，并通过构思两种新颖的头部导向强数据增强，称为姿态不相关的遮挡裁剪和姿态改变的旋转一致性，从而进行改进。大量实验和消融研究表明，SemiUHPE在公共基准测试中在前范围和全范围设置下均显著优于其他方法。此外，我们的所提方法也有助于解决其他相关问题，包括通用对象旋转回归和3D头部重建，显示出良好的通用性和可扩展性。代码已公开于 https://github.com/hnuzhy/SemiUHPE。