双向回归用于单目6自由度头部姿态估计与参考坐标系对齐
计算机视觉与模式识别
2025-11-04 v2
摘要
精确的六自由度(6DoF)头部姿态估计对于安全关键应用和人机交互场景至关重要，但现有的单目方法仍在鲁棒姿态估计方面存在挑战。我们通过引入TRGv2（Translation、Rotation与Geometry(TRG)网络的轻量级扩展）来重新审视这一问题，该网络显式建模了面部几何与头部姿态之间的双向相互作用。TRGv2通过带有 landmarks 到图像投影的迭代细化环路联合推断面部 landmarks 和6DoF姿态，确保面部尺寸、旋转和深度之间的度量一致性。为进一步提高对分布外数据的泛化能力，TRGv2对校正参数进行回归，而非直接预测平移，并结合针孔相机模型进行解析深度估计。此外，我们发现由于不同数据集中头部中心定义不一致，导致跨数据集评估时存在先前被忽视的偏差来源。为此，我们提出一种参考坐标系对齐策略，用于量化和校正平移偏差，从而实现跨数据集的公平比较。在ARKitFace、BIWI和具有挑战性的DD-Pose基准测试上进行的大量实验表明，TRGv2在准确性和效率方面均优于最先进的方法。代码和新标注的DD-Pose landmarks将公开提供。
引用
@article{arxiv.2407.14136,
title = {Bidirectional Regression for Monocular 6DoF Head Pose Estimation and Reference System Alignment},
author = {Sungho Chun and Boeun Kim and Hyung Jin Chang and Ju Yong Chang},
journal= {arXiv preprint arXiv:2407.14136},
year = {2025}
}
备注
This version extends the previously published preprint and has been submitted to Pattern Recognition